Stellen Sie sich einen Roboter vor, der sich in einem eingestürzten Gebäude oder einer dunklen Höhle bewegt, wo jede Sekunde über den Erfolg eines Rettungseinsatzes entscheidet. Forscher des MIT haben ein neues, auf künstlicher Intelligenz (KI) basierendes System entwickelt, das Robotern ermöglicht, innerhalb weniger Sekunden detaillierte dreidimensionale (3D) Karten komplexer Umgebungen zu erstellen. Dieses System kombiniert modernes maschinelles Lernen mit klassischen Prinzipien des maschinellen Sehens und könnte die Funktionsweise von Rettungsrobotern an gefährlichen Orten wie eingestürzten Bergwerken oder in Katastrophengebieten verändern.
Das System verarbeitet eine unbegrenzte Anzahl von Bildern der Kameras am Roboter, erstellt präzise 3D-Rekonstruktionen und schätzt gleichzeitig in Echtzeit die Position des Roboters. Im Gegensatz zu älteren Methoden, die in überfüllten oder visuell komplexen Umgebungen versagen und vorkalibrierte Kameras erfordern, funktioniert dieser neue Ansatz ohne spezielle Kalibrierung und kann Tausende von Bildern schnell verarbeiten.
Alte vs. neue Lösungen
Roboter verwenden traditionell eine Technik namens SLAM (simultane Lokalisierung und Kartierung), um eine Karte ihrer Umgebung zu erstellen und ihre Position zu bestimmen. Diese Methoden funktionieren jedoch in chaotischen Umgebungen oft nicht gut. Modelle des maschinellen Lernens haben den Prozess vereinfacht, konnten aber jeweils nur etwa 60 Bilder gleichzeitig verarbeiten. Für reale Einsätze ist das unzureichend, da ein Roboter Tausende von Bildern schnell analysieren muss.
Forscher des MIT, darunter der Absolvent Dominic Maggio, der Postdoktorand Hyungtae Lim und der Professor für Luft- und Raumfahrttechnik Luca Carlone, beschlossen, dieses Problem zu lösen. Ihr Ansatz unterteilt die Szene in kleinere „Teilkarten“, die schrittweise erstellt und ausgerichtet werden. Anschließend verbindet das System diese Teilkarten zu einem einzigen kohärenten 3D-Modell, sodass sich der Roboter schnell bewegen kann, ohne dabei an Genauigkeit einzubüßen.
Dominic Maggio sagte, dass er überrascht gewesen sei, als dieser einfache Ansatz bei seinem ersten Versuch nicht so gut funktionierte wie erwartet. Bei der Untersuchung älterer Forschungsarbeiten zum maschinellen Sehen entdeckte er den Grund: Modelle des maschinellen Lernens führen häufig subtile Verformungen in die Teilkarten ein, wodurch es schwierig wird, sie allein durch Rotation und Verschiebung korrekt auszurichten.
Verbindung von Geometrie und künstlicher Intelligenz
Um das Problem zu lösen, griff das Team von Luca Carlone auf Techniken der traditionellen Geometrie zurück. Es entwickelte einen mathematischen Rahmen, der Verformungen in jeder Teilkarte erfasst und korrigiert, sodass das System sie konsistent ausrichten kann. Luca Carlone erklärte, es müsse sichergestellt werden, dass alle Teilkarten auf konsistente Weise verformt werden, damit sie sich gut ausrichten lassen.
Als Dominic Maggio die Stärken des maschinellen Lernens mit klassischen Optimierungsmethoden verband, stellten sich sofort Ergebnisse ein. Luca Carlone merkte an, dass die Implementierung relativ unkompliziert gewesen sei, nachdem Dominic Maggio die intuitive Idee entwickelt hatte, diese beiden Welten – lernbasierte Ansätze und traditionelle Optimierungsmethoden – miteinander zu verbinden. Dieser effiziente und einfache Ansatz besitzt Potenzial für zahlreiche Anwendungen.
Das System basiert auf VGGT-SLAM, das das Feed-Forward-Rekonstruktionsmodell VGGT nutzt, um schrittweise eine dichte Karte aus unkalibrierten monokularen Kameras aufzubauen. Es richtet Teilkarten lokal und global durch Schleifenschließung aus und optimiert auf der Mannigfaltigkeit SL(4), was einen neuen Ansatz für das SLAM-Problem darstellt.
Labortests und praktischer Einsatz
Das MIT-System erwies sich als schneller und präziser als bestehende Kartierungstechniken. Es benötigt weder eine spezielle Kamerakalibrierung noch zusätzliche Verarbeitungswerkzeuge. Bei einer Demonstration nahmen die Forscher mit einem Mobiltelefon ein kurzes Video vom Inneren der MIT Chapel auf und rekonstruierten innerhalb von Sekunden ein präzises 3D-Modell. Die rekonstruierten Szenen wiesen einen durchschnittlichen Fehler von weniger als fünf Zentimetern auf.
Das Team ist überzeugt, dass diese Einfachheit dazu beitragen wird, die Methode in realen Robotern, tragbaren Systemen für Augmented Reality (AR) oder Virtual Reality (VR) und sogar bei der Lagerautomatisierung einzusetzen. Luca Carlone betonte, dass sich Kenntnisse der traditionellen Geometrie auszahlen. Wenn man genau versteht, was im Modell geschieht, kann man wesentlich bessere Ergebnisse erzielen und die Lösungen deutlich besser skalierbar machen.
Die Forschungsarbeit wird auf der Conference on Neural Information Processing Systems (NeurIPS) vorgestellt und ist auf arXiv unter der Kennung 2505.12549v2 verfügbar.
Vorteile für Rettungseinsätze
Dieses System könnte verändern, wie Rettungsroboter in eingestürzten Bergwerken oder Katastrophengebieten navigieren, wo Geschwindigkeit und Präzision über Leben und Tod entscheiden. Bei Tests mit Datensätzen wie 7-Scenes und TUM RGB-D erreichte VGGT-SLAM beispielsweise einen durchschnittlichen Trajektorienfehler von 0,067 Metern bei 7-Scenes und 0,053 Metern bei TUM RGB-D. Damit ist es mit anderen Methoden wie DROID-SLAM oder MASt3R-SLAM vergleichbar oder sogar besser.
In einem Beispiel verarbeitete das System eine 55 Meter lange Strecke in einem Bürokorridor mit 22 Teilkarten und erstellte durch Schleifenschließung eine global konsistente Karte. Weitere Tests zeigten, dass die Optimierung auf SL(4) die projektive Mehrdeutigkeit löst, bei der Sim(3) versagt, wodurch sich die Qualität der Karte in allgemeinen Fällen verbessert.
Das Team räumte Einschränkungen ein, etwa Degenerationen in ebenen Szenen, in denen die Homografieschätzung zu instabilen Lösungen führt, wie es bei der Bodenszene aus dem TUM-Datensatz der Fall war. Dennoch stellt das System das erste auf der Mannigfaltigkeit SL(4) optimierte faktorgraphenbasierte SLAM dar und eröffnet damit neue Möglichkeiten für eine dichte, präzise Kartierung in Echtzeit.
Quellen: news.mit.edu und interestingengineering.com
