Stellen Sie sich vor, Sie bitten einen extrem intelligenten Assistenten, ein langes Buch für Sie zu lesen und zusammenzufassen. Doch nach jeder Seite vergisst er, was auf der vorherigen stand. Das war lange Zeit das größte Problem von Künstlicher Intelligenz. Der Grund dafür liegt in den „Token“ – den Bausteinen der Sprache, die man sich wie einzelne Wörter vorstellen kann.
Das „Gedächtnis“ einer KI, auch „Kontextfenster“ genannt, war bisher sehr begrenzt. Die ursprüngliche Technologie dahinter, der sogenannte Transformer, ist zwar brillant darin, Zusammenhänge in kurzen Texten zu erkennen, aber er hat ein mathematisches Problem: Je mehr Wörter man ihm übergibt, desto unvorstellbar viel mehr Arbeit muss er leisten. Wenn sich die Textlänge verdoppelt, vervierfacht sich sein Aufwand. Das ist, als würde man auf einer Party versuchen, jedem Gespräch gleichzeitig zu folgen – bei zehn Gästen ist es schon fast unmöglich. Aus diesem Grund konnten KIs bisher keine ganzen Bücher, lange Berichte oder komplette Computer-Codes auf einmal verstehen.
Doch jetzt haben Forscher gleich mehrere, geniale Lösungen für dieses Problem gefunden:
Das Super-Team (Modell „Jamba“)
Forscher haben eine neue KI-Architektur entwickelt, die man sich wie ein Team aus zwei Experten vorstellen kann:
- Der geniale Detektiv (Transformer): Er ist unglaublich gut darin, versteckte Hinweise und tiefe Bedeutungen in einem kurzen Abschnitt zu finden, aber er ist langsam.
- Der superschnelle Leser (eine neue Technik namens „Mamba“): Er liest einen Text blitzschnell von Anfang bis Ende und behält eine grobe Zusammenfassung im Kopf. Er ist schnell, aber ihm entgehen die tiefen Details.
Jamba kombiniert nun diese beiden Experten. Der schnelle Leser scannt das gesamte Buch, während der Detektiv immer wieder an wichtigen Stellen einspringt, um die tiefen Zusammenhänge zu analysieren. Zusammen können sie ein ganzes Buch schnell lesen und es bis ins kleinste Detail verstehen. Das Beste daran: Diese Methode ist so effizient, dass sie sogar auf handelsüblicher Hardware funktioniert, was sie für viel mehr Forscher zugänglich macht.
Der Super-Motor (Modell „Megalodon“)
Ein anderer Ansatz ist, den alten Motor nicht auszutauschen, sondern ihn zu tunen. Stellen Sie sich den alten Transformer wie einen extrem leistungsstarken, aber extrem durstigen Motor vor. Die Entwickler von Megalodon haben das eine Bauteil, das am meisten Sprit verbraucht, durch eine neue, super-effiziente Erfindung ersetzt.
Das Auto sieht von außen noch gleich aus und fährt sich auch so, aber es kann plötzlich tausende Kilometer mit einer einzigen Tankfüllung fahren. Übertragen auf die KI bedeutet das: Megalodon kann ein „Gedächtnis“ von zwei Millionen Wörtern haben – das entspricht etwa zehn langen Romanen auf einmal.
Was bedeutet das?
Diese Durchbrüche sind mehr als nur technische Spielereien. Sie bedeuten, dass das Kurzzeitgedächtnis der KI bald der Vergangenheit angehört. In Zukunft könnten Sie eine KI bitten:
- „Lies meine gesamte medizinische Akte und sage mir, welche Risiken bei diesem neuen Medikament bestehen.“
- „Analysiere alle Geschäftsberichte unserer Firma aus den letzten zehn Jahren und finde die Ursache für das aktuelle Problem.“
- „Fasse den gesamten Handlungsstrang von Macbeth zusammen und erkläre mir die Entwicklung von Figur König Duncan.“
Die KI wird nicht mehr nur auf die letzten paar Sätze antworten, sondern auf der Grundlage eines riesigen Wissensschatzes. Das ist ein gewaltiger Sprung nach vorn, der die Art und Weise, wie wir mit Technologie interagieren, für immer verändern wird.
