Künstliche Intelligenz, wie die meisten Menschen sie heute kennen, schreibt, übersetzt, programmiert und beantwortet Fragen. Sie macht das so gut, dass ihre Grenzen leicht in Vergessenheit geraten. Ein großes Sprachmodell kann perfekt beschreiben, was passiert, wenn ein Glas vom Tisch fällt, den eigentlichen Fall kann es jedoch nicht simulieren.
Genau deshalb wendet sich ein Teil der Branche einem neuen Konzept zu. Es handelt sich um sogenannte World Models beziehungsweise große Aktionsmodelle, deren Ziel es ist, für die Robotik das zu leisten, was ChatGPT für das Schreiben und Programmieren geleistet hat, wie Christopher Mims Ende August im WSJ beschrieb. Diese Modelle werden nicht mit Literatur und Code trainiert, sondern mit Videospielen und Simulationen. In einigen Situationen können sie sich bereits im dreidimensionalen Raum bewegen und Gegenstände nach einfachen Anweisungen selbstständig handhaben.
Wie ein Sprachmodell funktioniert
Ein großes Sprachmodell (LLM) ist ein neuronales Netz, das darauf trainiert wurde, das nächste Token in einer Sequenz vorherzusagen. Nachdem es eine ausreichende Menge an Text verarbeitet hat, kann es zusammenhängende und kontextuell passende Sprache erzeugen. Den Kern dieses Mechanismus bildet der statistische Abgleich von Mustern in enormen Textmengen.
Modelle wie GPT, Claude oder Gemini basieren auf der Transformer-Architektur. Der Aufmerksamkeitsmechanismus bewertet, wie stark jedes Wort in einer Sequenz mit allen anderen zusammenhängt. Das Ergebnis ist ein System, das schreiben, zusammenfassen, übersetzen und sprachbezogene Aufgaben durchdenken kann. Bei jeder einzelnen Antwort speichert es jedoch nichts, sodass es kein Gedächtnis besitzt, sofern ihm der Verlauf nicht ausdrücklich übermittelt wird, und auch keinen Zustand der Umgebung aufrechterhält.
Wo LLMs zurückliegen
In der Forschung wird immer wieder auf die größte Schwäche hingewiesen: die fehlende Verankerung in der Realität. Ein Sprachmodell besitzt keine innere Vorstellung von physischer Ursache und Wirkung. Es kann beschreiben, was geschieht, weil es ähnliche Texte millionenfach gesehen hat, berechnet jedoch keinerlei physikalische Gesetze.
Ein Beispiel aus der Forschung bringt dies besonders gut auf den Punkt. Ein Sprachmodell spricht flüssig und sachlich über Schach, schlägt nach einer Weile jedoch einen Zug mit einer Figur vor, die sich gar nicht auf dem Schachbrett befindet. Es hat nicht gelernt, die Stellung zu verfolgen, sondern lediglich, wie ein Kommentar zu einer Schachpartie aussieht. Analysten des Unternehmens Forrester ergänzen, dass sich die Fähigkeit dieser Modelle, logische Aufgaben zu lösen, bereits bei einer geringfügigen Änderung der Wortstellung dramatisch verändert. Das zeigt, dass ihr Schlussfolgern auf Mustern und nicht auf der eigentlichen Struktur des Problems beruht.
Kent Rollins vom Unternehmen General Intuition, der zuvor die Entwicklung des Spiels Fortnite bei Epic Games leitete, betrachtet die Sache aus einer anderen Perspektive. Seiner Ansicht nach beschreibt Text die Welt nur mit großen Verlusten, denn die Welt existierte lange vor der Schrift, und Wörter lassen zwangsläufig einen Teil des Wesentlichen aus. Tiere entwickeln seit etwa einer halben Milliarde Jahren Gehirne, um ihre Umgebung zu modellieren, während Sprache im Vergleich dazu eine nur rund hunderttausend Jahre alte Neuerung ist.
Ein World Model stellt sich die Zukunft vor
Das Konzept des World Models stellt eine erlernte innere Vorstellung davon dar, wie eine Umgebung funktioniert. Das Modell erhält eine Beschreibung des aktuellen Zustands sowie der geplanten Aktion und sagt anschließend den zukünftigen Zustand voraus. Das Ziel besteht dabei nicht darin, Sätze zu erzeugen, sondern die Folgen präzise abzuschätzen.
Fachleute für Robotik wissen das schon lange. Die Steuerungssysteme fortschrittlicherer Maschinen stützen sich auf physikalische Simulationen der Umgebung, diese wurden jedoch von jemandem manuell programmiert und sind hochspezialisiert. Was bei einem Robotertyp funktioniert, kann bei einem anderen scheitern. Neue Unternehmen wollen stattdessen Steuerungssysteme entwickeln, die bei der Kontrolle von Maschinen ebenso universell einsetzbar sind wie heutige Sprachmodelle beim Verfassen von Texten.
Als meistzitierter Beleg für die Funktionsfähigkeit dieses Ansatzes gilt das System DreamerV3. Eine im April 2025 in der Fachzeitschrift Nature veröffentlichte Studie zeigte, dass ein einziger Algorithmus mehr als 150 verschiedene Aufgaben bewältigen kann. In Minecraft kann er beispielsweise von Grund auf lernen, Diamanten abzubauen, und zwar ganz ohne menschliche Demonstrationen oder Anpassungen an eine konkrete Aufgabe.
Der Schlüssel liegt darin, dass sich der Agent Trajektorien innerhalb des erlernten Modells vorstellt. Er simuliert Tausende mögliche Zukünfte, bewertet sie und passt sein Verhalten anhand des Ergebnisses an. Der Großteil des Lernens findet innerhalb des Modells und nicht in der realen Welt statt. Genau daraus ergibt sich eine zehn- bis hundertfache Einsparung an Stichproben gegenüber dem herkömmlichen bestärkenden Lernen, bei dem der Agent aus tatsächlichen Aktionen in der Umgebung lernen muss. Für Bereiche, in denen jeder reale Versuch teuer oder gefährlich ist, stellt dies einen enormen Vorteil dar.
Zwei unterschiedliche Architekturen
Während Sprachmodelle auf Transformern und der parallelen Verarbeitung von Sequenzen basieren, nutzt das Konzept der World Models andere Bausteine. Ältere Systeme wie PlaNet und Dreamer kombinierten rekurrente Netze mit Modellen latenter Dynamiken. Die JEPA-Architektur von Yann LeCun lernt abstrakte Repräsentationen, statt einzelne Pixel vorherzusagen, was erheblich Rechenleistung spart. Meta trainierte das Modell V-JEPA mit einer Million Stunden Internetvideo und passte es anschließend mit einer vergleichsweise geringen Menge zusätzlicher Daten für die Planung in der Robotik an.
Der grundlegende Unterschied lässt sich in einem Satz zusammenfassen. Ein Transformer ist bei jedem Durchlauf zustandslos, während ein World Model seinen Zustand beibehält und ihn mit jeder Aktion aktualisiert. Damit ein Sprachmodell Bilder oder Töne verarbeiten kann, muss es diese ebenso wie Wörter in Tokens umwandeln. Bei dreidimensionalen Szenen hat sich dieses Verfahren jedoch als so ineffizient erwiesen, dass die resultierenden Modelle für die Steuerung eines Roboters meist zu langsam sind.
Der teuerste Teil sind die Daten
Text ist im Internet nahezu kostenlos und in unbegrenzter Menge verfügbar. Paare aus Aktion und Folge sind jedoch wesentlich schwieriger zu beschaffen, da Aufzeichnungen von realen Robotern teuer sind. Nvidia bietet daher die Plattform Cosmos an, die mit 20 Millionen Stunden realer Aufnahmen aus Verkehr, Industriebetrieben und Robotik trainiert wurde. Unternehmen wie Wayve, 1X oder Figure AI bauen darauf auf, während Uber und Waabi sie zur Simulation autonomen Fahrens einsetzen.
Das Unternehmen General Intuition griff auf eine andere Quelle zurück. Es nutzt Millionen Stunden an Spielaufzeichnungen realer Menschen aus seinem Schwesterdienst Medal.tv und speichert nicht nur jedes Einzelbild des Spiels, sondern auch jeden Tastendruck. So verknüpft das Modell eine Aktion mit ihrer Folge, anstatt lediglich ein Video zu betrachten. Nach einer kurzen Feinabstimmung kann es dann einen Roboter in der realen Welt ähnlich steuern wie eine Spielfigur. In den Büros in New York und Genf demonstriert das Unternehmen dies mit einem vierbeinigen Roboter, der lediglich wissen muss, wo er sich befindet, in welchem Körper er steckt und was er tun soll. Voraussetzung ist, dass sich die Maschine mit einem Gamepad oder einer Tastatur steuern lässt und ein Livebild überträgt, wodurch die meisten zweibeinigen Humanoiden ausscheiden.
Schwachstellen
Kleine Ungenauigkeiten bei der Vorhersage des Zustands summieren sich im Verlauf einer langen Trajektorie, bis die innere Vorstellung vollständig von der Realität abweicht. Der Übergang von der Simulation in die physische Welt erfordert eine sorgfältige Feinabstimmung, wobei ein in einem Umgebungstyp trainiertes Modell in einem anderen häufig scheitert.
George Konidaris von der Brown University weist auf ein grundlegenderes Problem hin. Sprachmodelle werden zwar immer größer und leistungsfähiger, machen aber dennoch weiterhin Fehler. Bei einem Roboter kann man sich mit einer Halluzination jedoch nicht abfinden. Die reale Welt ist ihm zufolge voller Ausnahmen und harter Grenzen, und nichts lässt sich darin nur ungefähr verfehlen, denn jeder Zusammenstoß einer Maschine verändert die gesamte Berechnung vollständig. Der Investor Moritz Baier-Lentz schätzt, dass heutige World Models im Vergleich zu Sprachmodellen ungefähr auf dem Niveau von GPT-2 liegen, einem Modell aus dem Jahr 2019.
Wann welcher Ansatz eingesetzt wird
Wenn es um eine sprachbezogene Aufgabe wie Suche, Zusammenfassung, Arbeit mit Dokumenten oder Codeüberprüfung geht, gehört sie in die Hände eines Sprachmodells. Soll ein System jedoch zuverlässig in einer physischen Umgebung handeln, in der ein Fehler bei der Dynamik Geld kostet oder Menschen gefährdet, kommt ein World Model zum Einsatz.
Das wahrscheinlichste Szenario ist allerdings eine Verbindung beider Ansätze. Das Sprachmodell versteht die Aufgabe, plant die Schritte und kommuniziert mit dem Menschen, während das World Model den Zustand verfolgt und den Plan vor einem unumkehrbaren Schritt überprüft. Denkbar ist auch eine bescheidenere Variante, bei der das Sprachmodell ein World Model als Werkzeug aufruft, ähnlich wie es heute einen Taschenrechner oder eine Suchfunktion nutzt. Google DeepMind hat unterdessen das System Genie 3 vorgestellt, das interaktive 3D-Umgebungen in Echtzeit mit vierundzwanzig Bildern pro Sekunde erzeugt.
Quellen: wsj.com, kanerika.com und fenxi.fr
