Künstliche Intelligenz beginnt, echte Auftragsarbeiten auf einem Niveau zu erledigen, das ein Kunde akzeptieren und bezahlen würde. Das geht aus den neuen Ergebnissen des Rankings Remote Labor Index hervor, das vom Center for AI Safety gemeinsam mit Scale Labs veröffentlicht wurde. Das beste der getesteten Modelle, Fable 5 von Anthropic, konnte 16,1 Prozent der realen Projekte selbstständig abschließen. Als der Test im vergangenen Herbst entwickelt wurde, bewältigte die leistungsfähigste KI lediglich 2,5 Prozent. In weniger als acht Monaten hat sich die Schwelle damit vervierfacht. Das zeigt, wie schnell die Entwicklung voranschreitet.
Der Remote Labor Index untersucht keine Antworten auf Testfragen. Ihn interessieren fertige Arbeiten, die jemand in Auftrag gegeben und für die er einen Profi bezahlt hat. Der Test umfasst 3D-Modellierung, CAD, Architektur, Grafikdesign, Video und Animation, Audio, Datenanalyse sowie die Entwicklung von Webanwendungen.
Zu jedem Auftrag gibt es eine Aufgabenstellung des Kunden, Eingabedateien und einen sogenannten Goldstandard, also das Ergebnis eines bezahlten Fachmanns. Die KI erhält dieselbe Aufgabenstellung, anschließend wird ihre Arbeit von Menschen beurteilt. Sie vergleichen sie mit der Arbeit des Profis und entscheiden, ob sie ebenso gut oder besser ist. Der Anteil solcher Projekte bildet die wichtigste Kennzahl des Tests: den Automatisierungsgrad.
Die drei neuesten Modelle übertrafen alles, was der Test bislang gesehen hatte. Fable 5 erreichte die erwähnten 16,1 Prozent, was ungefähr doppelt so viel ist wie beim Modell Opus 4.8 mit 8,3 Prozent. GPT-5.5 von OpenAI kam auf 6,3 Prozent. Zum Vergleich: Das bislang beste veröffentlichte Ergebnis gehörte dem Modell Opus 4.6, das 4,17 Prozent erreichte. Zum Start des Tests lag die Spitze noch bei etwa 2,5 Prozent. Der Sprung ist also insbesondere beim Modell Fable enorm.
Bei Fable gibt es eine Komplikation. Die Prüfer konnten 218 der insgesamt 240 Projekte bewerten, bevor die US-Behörden den Zugang zum Modell einschränkten. Die verbleibenden zweiundzwanzig Aufträge verteilen sich gleichmäßig auf Fachgebiete und Schwierigkeitsgrade. Selbst wenn Fable 5 bei jedem davon gescheitert wäre, läge sein Automatisierungsgrad immer noch bei 14,6 Prozent und damit höher als bei jedem anderen Modell.
Wie die Ergebnisse der Modelle aussahen
Hinter jeder Zahl stand ein realer Auftrag. Bei einem davon sollte ein Verlobungsring umgestaltet werden. Der Kunde wollte den Smaragdschliff des zentralen Steins durch einen Marquiseschliff ersetzen lassen und ein aktualisiertes 3D-Modell sowie fotorealistische Visualisierungen in Rosé- und Gelbgold erhalten. Der Entwurf von Fable 5 sieht deutlich besser aus als die Ergebnisse älterer Modelle. Bei näherer Betrachtung wirkt er jedoch weiterhin unprofessionell, etwa wegen der vereinfachten Rundung der Krappen.
Eine weitere Aufgabe betraf eine etwa sechzigsekündige flache 2D-Animation für ein Baumpflegeunternehmen. Die KI erhielt lediglich einen eingesprochenen Kommentar und sollte daraus einen Werbespot erstellen, der dem Zuschauer den Arbeitsablauf des Unternehmens vorstellt. Bei den neueren Modellen haben sich sowohl die Bildqualität als auch die Abstimmung der Animation auf den Ton sichtbar verbessert.
Das dritte Beispiel stammte aus dem Bereich Architektur. Aus einem gescannten Katasterplan, Fotos und Maßangaben sollten eine saubere, bemaßte Grundrissdokumentation, Varianten für die Anordnung der Möbel und fotorealistische Visualisierungen des umgebauten Badezimmers entstehen. Die Grundrisse der neueren Modelle sind präziser und die 3D-Modelle detaillierter; am stärksten ist erneut Fable 5. Ein interessanter Moment ergab sich bei GPT-5.5. Seine ansprechend aussehende Visualisierung war in Wirklichkeit eine Fälschung aus einem Bildgenerator. Das tatsächlich abgegebene 3D-Modell war dagegen unförmig und ohne Texturen.
Die Arbeit der KI muss weiterhin von Menschen bewertet werden
Angesichts der zunehmenden Fähigkeiten der Modelle und der steigenden Testkosten bietet sich eine verlockende Abkürzung an: menschliche Prüfer durch einen automatisierten Gutachter, also eine weitere künstliche Intelligenz, zu ersetzen. Die Autoren des Tests entwickelten einen solchen Gutachter. Dabei handelt es sich um einen Agenten, der beide Ergebnisse in echten Programmen öffnet, sie wie ein Kunde prüft und entscheidet, ob er die Arbeit der KI akzeptieren würde. Sie optimierten ihn anhand älterer Modelle, bei denen Menschen einen Gesamtwert von 3,3 Prozent gemessen hatten.
Als sie denselben Gutachter jedoch auf die beiden neuesten Modelle ansetzten, die er noch nie gesehen hatte, überschätzte er deren Leistung deutlich. Bei GPT-5.5 ermittelten Menschen 6,25 Prozent, der automatisierte Gutachter meldete dagegen 17,9 Prozent, also fast das Dreifache. Bei Opus 4.8 kamen die Menschen auf 8,33 Prozent, der Gutachter auf 18,8 Prozent.
Der automatisierte Gutachter ordnete die Modelle zwar korrekt ein und setzte die beiden stärksten eindeutig an die Spitze. Er überschätzte jedoch massiv, um wie viel besser sie waren. Damit eignet er sich zur Beobachtung des relativen Fortschritts, nicht aber als Ersatz für die menschliche Beurteilung der tatsächlichen Fähigkeiten.
Der Grund liegt tiefer. Die Bewertung eines solchen Auftrags ist selbst eine anspruchsvolle Aufgabe. Man muss die Dateien in den richtigen Programmen öffnen, diese bedienen können und das Ergebnis aus Sicht des Kunden beurteilen. Gerade die Bedienung grafischer Benutzeroberflächen bereitet heutigen KI-Agenten jedoch die größten Schwierigkeiten. Der Gutachter hat somit dieselben Schwächen geerbt wie die Arbeiter, deren Leistung er benotet. Die gefälschte Visualisierung von GPT-5.5 veranschaulicht das gut. Um sie zu entlarven, muss man das 3D-Projekt öffnen und die tatsächliche Geometrie betrachten. Ein Gutachter, der die Software nicht richtig bedienen kann, tut das schlichtweg nicht. Zu einer ähnlichen Erkenntnis gelangte auch OpenAI. Der eigene automatisierte Gutachter des Unternehmens stimmt seltener mit menschlichen Experten überein, als die Experten untereinander übereinstimmen.
Verfügbare Werkzeuge und Möglichkeiten für die Modelle
Damit der Test die tatsächlichen Möglichkeiten der Modelle misst, setzten die Autoren sie in einer Umgebung ein, in der Entwickler üblicherweise arbeiten. Die Modelle von Anthropic liefen in Claude Code, die Modelle von OpenAI in Codex CLI. Beide Umgebungen wurden um ein integriertes Werkzeug zur Computersteuerung ergänzt. Der Agent erstellt einen Screenshot, klickt oder gibt Text ein und erstellt anschließend einen weiteren Screenshot. Dadurch kann er grafische Programme und nicht nur die Befehlszeile bedienen.
Jedes Modell erhielt Zugriff auf einen vollwertigen Linux-Computer mit mehr als dreißig professionellen Programmen. Dazu gehörten Blender, FreeCAD und OpenSCAD für 3D und CAD, GIMP, Inkscape und Scribus für Design, Kdenlive und ffmpeg für Video, Audacity, LMMS und MuseScore für Audio sowie das gesamte LibreOffice-Paket und LaTeX für Dokumente.
Die Autoren achteten auch darauf, dass die Fähigkeiten der Modelle nicht durch eine zu schwache Konfiguration unterschätzt wurden. Für jedes Projekt standen dem Modell bis zu 24 Stunden reale Zeit, eine NVIDIA-A100-Grafikkarte, wenn sie für Aufgaben wie Rendering oder Simulation benötigt wurde, sowie die höchste Einstellung für das logische Denken zur Verfügung.
Auch der Einsatz von zwei Agenten erwies sich als nützlich. Ein Arbeiter beurteilt seine eigene Arbeit häufig zu nachsichtig und betrachtet sie nur selten kritisch. Deshalb wurde sie unabhängig von einem Kritiker bewertet, der die Dateien öffnete, Screenshots erstellte und das Ergebnis mit der Aufgabenstellung verglich. Der Arbeiter überarbeitete das Werk anschließend so lange, bis der Kritiker zufrieden war oder das Budget ausgeschöpft wurde. Dieses betrug 50 Dollar pro Projekt, beim teureren Fable 5 dagegen 150 Dollar.
Längere Arbeit bedeutet für KI nicht schwierigere Arbeit
Beim Programmieren gilt eine einfache Regel: Je länger ein Mensch für eine Aufgabe benötigt, desto schlechter bewältigt sie die KI. Die Autoren wollten herausfinden, ob dieselbe Überlegung auch für vielfältige Auftragsarbeiten gilt. Das tut sie nicht.
Die Erfolgsquote der Modelle sinkt nicht in Abhängigkeit davon, wie lange ein Profi für die Arbeit benötigt hat. Das Ergebnis hängt von zahlreichen anderen Faktoren ab. Dies entspricht der Vorstellung einer zerklüfteten Fähigkeitsgrenze. Manche Aufgaben, die ein erfahrener Mensch schnell erledigt, bleiben für die KI unerreichbar, etwa das Transkribieren von Musik oder das Testen eines Spiels in Echtzeit. Umgekehrt erledigen heutige Modelle Arbeiten, mit denen ein Mensch Stunden verbringen würde, etwa digitale Kunst oder Code, innerhalb weniger Minuten.
Der Automatisierungsgrad ist in weniger als einem Jahr von 2,5 auf 16,1 Prozent gestiegen. Dennoch erreicht die heutige KI bei den meisten Projekten keine professionelle Qualität. Keines der drei gezeigten Ergebnisse von Fable 5 wäre als fertige Arbeit durchgegangen. Auftragsarbeit aus der Ferne umfasst jedoch eine breite Palette von Tätigkeiten, für die Menschen bezahlt werden, und gerade hier steigt die Messlatte schnell.
Quelle: safe.ai/blog
