FDM-1: Das KI-Modell, das Software durch das Ansehen von Videos bedienen lernt

Stellen Sie sich vor, Sie bekommen einen neuen Kollegen. Sie müssen ihm nichts erklären, denn er hat sich selbst Millionen Stunden an Aufzeichnungen darüber angesehen, wie Menschen mit Computern arbeiten, und es einfach verstanden. Genau das wollte ein kleines Team aus San Francisco unter dem Dach des Unternehmens Standard Intelligence entwickeln. Und das Ergebnis? Ein Modell namens FDM-1, das die Welt der Computeragenten auf den Kopf gestellt hat.

FDM-1 und warum bisherige Ansätze nicht ausreichen

Bisher funktionierte die Entwicklung von KI-Computeragenten folgendermaßen: Man nahm ein Sprachmodell mit visueller Wahrnehmung, trainierte es anhand von Screenshots weiter, die speziell geschulte Menschen manuell beschrieben hatten, und anschließend lernte das Modell mithilfe von verstärkendem Lernen konkrete Aufgaben. Das klingt vernünftig, hat aber einen gewaltigen Haken.

Der größte öffentlich verfügbare Datensatz für Computeragenten enthält weniger als 20 Stunden an Aufzeichnungen. Zwanzig Stunden. Dabei finden sich im Internet Dutzende Millionen Stunden an Videos über Filmbearbeitung, Programmier-Livestreams, Spieldurchläufe und andere Inhalte, in denen Menschen mit Computern arbeiten. Diesen Reichtum konnten bisherige Modelle schlicht nicht nutzen. Außerdem bewältigten sie nur wenige Sekunden Kontext, sodass komplexere, langfristige Aufgaben für sie unerreichbar waren.

Standard Intelligence verfolgte einen anderen Ansatz. Das Unternehmen trainierte FDM-1 mit 11 Millionen Stunden Bildschirmaufzeichnungen. Das ist vergleichbar mit dem, was GPT-3 mit Texten aus dem Internet getan hat. Doch Video ist eine andere Herausforderung als Text.

Wie erkennt das Modell, was der Nutzer getan hat, wenn es nur zusieht? Hier kommt das sogenannte inverse Dynamikmodell (IDM) ins Spiel. Es funktioniert ganz einfach: Wenn auf dem Bildschirm der Buchstabe „K“ erscheint, hat höchstwahrscheinlich jemand die Taste „K“ gedrückt. Das IDM lernte anhand von 40.000 Stunden manuell annotierter Aufzeichnungen und beschriftete anschließend automatisch die verbleibenden Millionen Stunden an Daten. Ohne diesen Schritt wäre das gesamte Projekt nicht möglich gewesen.

Eigener Video-Encoder

Die größte technische Herausforderung lag jedoch woanders. Herkömmliche Modelle verbrauchen enorme Mengen an Tokens, um Videos zu verarbeiten. Claude von Anthropic kann in einem Kontextfenster mit 200.000 Tokens etwa 162 Einzelbilder verarbeiten. FDM-1 schafft mehr als 48.000. Das ist ungefähr hundertmal mehr als OpenAI und mehr als hundertmal mehr als Claude.

Wie haben sie das geschafft? Sie entwickelten einen eigenen Video-Encoder, der mit einem maskierten Kompressionsziel trainiert wurde und lernte zu unterscheiden, wo sich auf dem Bildschirm viele und wo nur wenige Informationen befinden. Das Ergebnis ist beeindruckend: In ein Kontextfenster mit 1 Million Tokens passen fast zwei Stunden Video mit 30 Bildern pro Sekunde. Das öffnet die Tür zu Aufgaben, die mehrere Dutzend Minuten dauern, etwa 3D-Modellierung oder komplexe Finanzanalysen.

Was FDM-1 tatsächlich kann

Das Team präsentierte konkrete Beispiele für die Fähigkeiten des Modells, von denen jedes einzelne Aufmerksamkeit verdient.

In Blender erstellt FDM-1 selbstständig ein Zahnrad mithilfe präziser Mausbewegungen und Tastenkombinationen. Kein blindes Herumklicken, keine Fehler aufgrund eines falsch verstandenen Interfaces. Das Modell weiß einfach, was es tut.

Nach weniger als einer Stunde Weitertraining mit realen Daten fährt FDM-1 ein Auto in San Francisco. Ja, Sie haben richtig gelesen. Das Modell, das primär anhand von Computerbildschirmen trainiert wurde, übertrug seine Fähigkeiten auf die physische Welt und bewältigte die Navigation durch Kurven. Das ist genau die Art von Generalisierung, von der KI-Forscher träumen.

Das dritte Beispiel ist vielleicht das praktischste: Softwaretests. FDM-1 durchsucht eine Anwendung wie ein erfahrener Tester und sucht nach Fehlern. In der Demonstration mit einer Banking-App fand es eine Sicherheitslücke, durch die sich eine Überweisung zweimal absenden und das Konto überziehen ließ. Normalerweise würde dies Stunden manueller Tests erfordern.

Hinter den Ergebnissen steht auch eine bemerkenswerte technische Infrastruktur. Das Team entwickelte ein System, das mehr als eine Million Testläufe pro Stunde auf 80.000 virtuellen Maschinen ausführt. Jede virtuelle Maschine läuft auf einem minimalen Ubuntu-Desktop, und eine einzelne H100-GPU kann 42 davon gleichzeitig steuern. Die Latenz von der Bildschirmaufnahme bis zur Aktion des Modells? Gerade einmal 11 Millisekunden. Das ist schnell genug, damit das Modell natürlich und ohne wahrnehmbare Verzögerung reagiert.

Standard Intelligence erklärt offen, dass das Unternehmen an die Entstehung einer allgemeinen künstlichen Intelligenz innerhalb des nächsten Jahrzehnts glaubt. FDM-1 ist sein Beitrag dazu, dass dies verantwortungsvoll und mit einem Verständnis dafür geschieht, wie KI tatsächlich mit Computern arbeitet. Computeragenten sind kein Spielzeug mehr, sondern werden zu echten Mitarbeitern. Und FDM-1 ist bislang der überzeugendste Beweis dafür, dass dieser Weg in die richtige Richtung führt.