Programmierer übertragen heutzutage immer häufiger Aufgaben an sogenannte KI-Agenten. Dabei handelt es sich um Programme auf Basis künstlicher Intelligenz, die selbstständig Code durchsuchen, Tests ausführen und Fehler aufspüren. Ein solcher Agent kann durchaus eine Stunde lang nach einem versteckten Problem suchen. Dann stößt er jedoch auf ein Hindernis, das seine Fähigkeiten übersteigt, und muss die Aufgabe an ein intelligenteres Modell übergeben. In anderen Fällen wiederum muss er einen Teil der Aufgaben einem anderen Modell anvertrauen, das auf den jeweiligen Bereich spezialisiert ist.
Gerade bei dieser Übergabe gehen viel Zeit und Rechenleistung verloren. Forscher von Nvidia und anderen Einrichtungen haben deshalb eine Idee entwickelt, um diesen Schritt zu umgehen. Die Modelle sollen keine langen Texte austauschen, sondern direkt ihren internen Speicher. Die erste Methode beschleunigte die Übergabe um das bis zu 25-Fache, die zweite Methode namens Cache-to-Cache im Durchschnitt um das Zweieinhalbfache.
Wie sich ein Modell merkt, was es bereits gelesen hat
Wenn ein Sprachmodell eine Aufgabe erhält, liest es sie zunächst vollständig durch und erstellt dazu eigene Notizen. In der Fachsprache werden diese als KV-Cache bezeichnet. Anschließend beginnt es, die Antwort zu verfassen, und greift dabei fortlaufend auf diese Notizen zurück, sodass es nicht immer wieder den gesamten Text lesen muss.
Das Problem besteht darin, dass die Notizen gewissermaßen in einer privaten Schrift verfasst sind, die nur das Modell versteht, das sie erstellt hat. Wenn der Agent zu einem anderen Modell wechselt, kann der Neuling sie nicht lesen. Daher muss er alles erneut durchgehen, was sich während der gesamten Arbeitsstunde angesammelt hat, also den Code, die Testergebnisse und frühere Entscheidungen. Das ist vergleichbar damit, als würden Sie bei der Arbeit ein unfertiges Projekt von einem Kollegen übernehmen und müssten statt einer kurzen Übergabe einen ganzen Aktenordner voller Dokumente durchlesen.
Wenn ein Agent die Arbeit auf mehrere Spezialisten verteilt, entsteht ein anderes Problem. Die Modelle schicken sich lange Nachrichten, die das eine mühsam verfassen und das andere anschließend erneut verarbeiten muss.
Nvidia übersetzt Notizen von einem Modell in ein anderes
Nvidia konzentrierte sich auf eine Situation, in der ein Agent mit einem kleineren Modell arbeitet und zu einem größeren und intelligenteren Modell derselben Familie wechseln muss, etwa von einer kleineren Version von Qwen3 zu ihrem größeren Geschwistermodell. Anstatt das große Modell alles erneut lesen zu lassen, übersetzen die Forscher dessen Notizen einfach aus der Schrift des kleinen Modells in die Schrift des großen. Diese Übersetzung erfolgt in den folgenden drei Phasen.
- Suche nach Entsprechungen: Das System ermittelt, welche Teile des kleinen Modells den einzelnen Teilen des großen Modells am besten entsprechen.
- Anpassung der Reihenfolge: Aus den Notizen werden die Informationen darüber entfernt, an welcher Stelle im Text sich die einzelnen Wörter befanden, und erst nach der Übersetzung wieder ergänzt. Dadurch lassen sich auch sehr lange Texte übertragen.
- Die eigentliche Übertragung: Sie erfolgt mithilfe einer einfachen statistischen Berechnung, die kein teures und langwieriges Training künstlicher Intelligenz erfordert.
Für die Einrichtung des gesamten Übertragungsprozesses genügten den Forschern fünfhundert Beispieltexte. Sie testeten die Methode an sechs Modellpaaren aus den Familien Qwen3, Llama 3.1 und Ministral 3, wobei sie jeweils eine kleinere mit einer größeren Variante kombinierten. Das Verfahren funktioniert nur zwischen Modellen derselben Familie, die eine ähnliche Architektur besitzen.
Das Ergebnis ist beachtlich. Die Übertragung der Notizen zu einem sehr langen Text dauerte weniger als eine Drittelsekunde. Würde das große Modell sie neu erstellen, bräuchte es dafür fast sieben Sekunden. Die Geschwindigkeit hat allerdings ihren Preis, denn bei der Übersetzung geht ein Teil der Informationen verloren. Je nach Aufgabentyp behielt das große Modell etwa drei Viertel bis nahezu seine gesamte übliche Genauigkeit bei. Am schlechtesten schnitten mathematische Aufgaben ab. Die Genauigkeit lässt sich zwar mit einem intelligenteren Konverter verbessern, dessen Entwicklung ist jedoch aufwendiger.
Dank C2C verständigen sich Modelle ohne Worte
Die zweite Technik zielt auf Situationen ab, in denen zwei Modelle zusammenarbeiten. Eines untersucht beispielsweise, warum ein Programm abstürzt, während das andere bereits eine Fehlerbehebung vorbereitet. Normalerweise müsste das erste Modell Wort für Wort eine Nachricht verfassen, die das zweite anschließend lesen müsste. Das kostet Zeit, und in einer kurzen Zusammenfassung können zudem leicht wichtige Details verloren gehen oder das Ergebnis unklar wirken.
Diese Methode wurde von einem Forscherteam um Tianyu Fu entwickelt, auf der renommierten Konferenz ICLR 2026 vorgestellt und ihr Code frei veröffentlicht. Dabei lesen beide Modelle zunächst dieselben Ausgangsmaterialien und erstellen ihre eigenen Notizen. Anschließend kommt ein spezieller Dolmetscher zum Einsatz, der die Erkenntnisse des ersten Modells in eine für das zweite Modell verständliche Form überträgt und direkt in dessen Notizen einfügt. So muss niemand eine Nachricht schreiben oder lesen. Die Modelle selbst werden dabei in keiner Weise verändert, lediglich der Dolmetscher muss trainiert werden. Das Verfahren funktioniert außerdem auch zwischen völlig unterschiedlichen Modellen; die Forscher testeten beispielsweise Qwen, Llama und Gemma.
In Tests, die Denkvermögen und Wissen prüfen, schnitt diese Methode um mehrere Prozentpunkte besser ab, als wenn die Modelle Textnachrichten austauschten. Gegenüber einzeln arbeitenden Modellen war sie um sechs bis vierzehn Prozent genauer. Der Geschwindigkeitsunterschied wird durch eine eindeutige Messung deutlich. Das Verfassen einer kurzen Nachricht dauerte beim Modell mehr als eine Sekunde, während die Übergabe der Notizen über den Dolmetscher etwa eine Zehntelsekunde in Anspruch nahm.
Auch diese Methode hat nicht nur Vorteile. Der Dolmetscher muss zunächst trainiert werden, und die Forscher benötigen direkten Zugriff auf das Innere der Modelle. Wenn das Modell, von dem die Notizen stammen, schwächer oder schlecht gewählt ist, kann es das andere in die Irre führen. Beide Techniken können daher nur von Unternehmen genutzt werden, die vollständige Kontrolle über die Modelle haben. Wer künstliche Intelligenz lediglich über die geschlossenen Dienste großer Unternehmen nutzt, erhält keinen Zugriff auf ihr Inneres. In einem Versuch, bei dem zwei Agenten gemeinsam mathematische Aufgaben lösten, schnitt letztlich eine Kombination aus beidem am besten ab: Die Modelle übermittelten einander sowohl eine kurze Erklärung in Worten als auch ihre Notizen.
