Räumliche Intelligenz spielt eine Schlüsselrolle dabei, wie Menschen die Welt wahrnehmen und mit ihr interagieren. Jeden Tag nutzen wir sie bei alltäglichen Tätigkeiten wie dem Einparken eines Autos, dem Auffangen von Schlüsseln oder der Navigation durch eine Menschenmenge. Feuerwehrleute bewegen sich dank ihrer Intuition für Raum und Stabilität durch brennende Gebäude, während Kinder die Welt spielerisch kennenlernen, noch bevor sie sprechen. Diese Fähigkeit bildet die Grundlage unserer Vorstellungskraft – vom Bauen von Sandburgen bis zum Spielen von Minecraft.
Im Laufe der Menschheitsgeschichte führte räumliche Intelligenz zu großen Entdeckungen. Eratosthenes maß im antiken Griechenland den Erdumfang mithilfe von Schatten und dem Winkel von 7 Grad zwischen Alexandria und Syene. Hargreaves erfand die Spinning Jenny (Spinnmaschine), die mehrere Spindeln nebeneinander anordnete und die Produktivität um das Achtfache steigerte. Watson und Crick entdeckten die Struktur der DNA, indem sie 3D-Modelle aus Metallplatten und Drähten bauten, bis sich ihnen die richtige Anordnung der Basenpaare zeigte.
Räumliche Intelligenz ist das Fundament, auf dem unsere Erkenntnis beruht. Sie hilft uns, komplexe Dinge durch visuelle und physische Interaktionen zu verstehen, was Worte allein nicht leisten können.
Die Notwendigkeit, heutige KI-Modelle zu verändern
Heutige große Sprachmodelle (LLMs) sind hervorragend im Umgang mit Text, Code oder Bildern, doch ihnen fehlt ein tieferes räumliches Verständnis. Sie können fotorealistische Bilder oder kurze Videos erzeugen, scheitern jedoch beim Einschätzen von Entfernungen, der Orientierung oder dem Drehen von Objekten. Sie können nicht durch Labyrinthe navigieren, physikalische Abläufe vorhersagen oder in Videos länger als einige Sekunden Konsistenz wahren.
Fei-Fei Li, die ImageNet – eine große Datenbank für visuelles Lernen – geschaffen hat, sieht darin ein Problem. ImageNet war neben neuronalen Netzen und GPU-Prozessoren eines der drei Schlüsselelemente, die moderne KI ermöglichten. In ihrem Labor in Stanford verbindet sie Computer Vision mit robotischem Lernen. Gemeinsam mit Justin Johnson, Christoph Lassner und Ben Mildenhall gründete sie World Labs, um diese Grenzen zu überwinden.
Li zufolge ist räumliche Intelligenz für Fortschritte in der Robotik, bei wissenschaftlichen Entdeckungen oder in der Kreativität unverzichtbar. Ohne sie bleibt KI von der Realität losgelöst.
Der Weg zur räumlichen Intelligenz
Damit KI räumliche Intelligenz erlangt, benötigt sie Weltmodelle – einen neuen Typ generativer Modelle, die über LLMs hinausgehen. Diese Modelle müssen drei Eigenschaften besitzen: Sie müssen generativ, multimodal und interaktiv sein.
Generativ bedeutet, dass sie konsistente Welten mit Geometrie, Physik und Dynamik erschaffen, unabhängig davon, ob diese real oder virtuell sind. Multimodal bedeutet, dass sie Eingaben wie Bilder, Videos, Text oder Gesten verarbeiten und vollständige Weltzustände erzeugen können. Interaktiv bedeutet, dass sie auf Grundlage von Aktionen nachfolgende Zustände und gegebenenfalls auch zielführende Aktionen vorhersagen.
World Labs konzentriert sich auf die Forschung: auf eine neue universelle Trainingsfunktion, die der Vorhersage des nächsten Tokens in LLMs ähnelt, aufgrund der räumlichen Dimension jedoch komplexer ist. Dafür werden riesige Datenmengen aus dem Internet benötigt, etwa Bilder und Videos, sowie synthetische Daten mit Tiefen- und Berührungsinformationen. Neue Architekturen wie RTFM nutzen räumliche Aufnahmen als Gedächtnis und zur schnellen Generierung.
Der erste Schritt ist Marble – ein Modell, das auf Grundlage multimodaler Eingaben konsistente 3D-Umgebungen zum Erkunden und Gestalten erzeugt.
Anwendungen in Kreativität, Robotik und weiteren Bereichen
Räumliche Intelligenz wird neue Möglichkeiten für die Kreativität eröffnen. Filmemacher und Spieledesigner werden Marble zur Erstellung von 3D-Welten ohne teure Software einsetzen, wodurch interaktive Geschichten über VR oder XR möglich werden. Architekten werden Gebäude visualisieren und Industriedesigner Objekte im Raum testen.
In der Robotik wird sie dazu beitragen, das Lernen mithilfe von Simulationen zu skalieren, die die Lücke zwischen der virtuellen und der realen Welt schließen. Roboter werden zu Begleitern – sie helfen in Laboren oder Senioren zu Hause und sagen Aktionen im Einklang mit menschlichen Zielen voraus. Sie wird unterschiedliche Formen unterstützen, von Nanorobotern bis hin zu Maschinen für den Weltraum.
Langfristig wird sie die Wissenschaft durch die Simulation von Experimenten, das Gesundheitswesen durch die Modellierung von Molekülen oder die Überwachung von Patienten und die Bildung durch interaktive Lektionen beeinflussen, in denen Schüler Zellen oder Geschichte in 3D erkunden.
Fei-Fei Li betont, dass KI Menschen stärken und nicht ersetzen soll. Dieser von Alan Turing inspirierte Fortschritt wird intelligentere Maschinen für ein besseres Leben hervorbringen.
Quelle: drfeifei.substack.com
