Die gemeinnützige Organisation ARC Prize Foundation hat einen neuen Test für künstliche Intelligenz namens ARC-AGI-3 veröffentlicht. Die Ergebnisse sind für die KI geradezu vernichtend: Die leistungsstärksten Modelle der Welt wie Gemini 3.1, GPT-5 oder Claude erreichten weniger als ein Prozent, während alle menschlichen Tester die Aufgaben zu 100 % lösten.
Die beiden vorherigen Versionen dieses Tests untersuchten die sogenannte passive fluide Intelligenz. Einfach ausgedrückt: Sie zeigten dem Modell ein statisches Muster auf einem Raster und fragten, wie das Muster weitergeht. Kein Gedächtnis, keine Interaktion, kein Erraten von Zielen. Es war vergleichbar mit einem Test der Fähigkeit zur Bilderkennung. Bis 2025 bewältigten führende Modelle diese Tests jedoch zu 84 bis 90 Prozent, sodass der Test nicht mehr nützlich war.
Die Forscher fanden heraus, warum. Die Modelle waren während des Trainings bereits mit ähnlichen Aufgaben in Berührung gekommen, entweder zufällig oder absichtlich. Selbst in ihren eigenen „Gedankenketten“ zeigten sie, dass ihnen die Testdaten bekannt waren. Es ging nicht direkt darum, dass sich das Modell die Daten einfach gemerkt hatte, sondern um die systematische Ausnutzung der Tatsache, dass sich Trainings- und Testdatensatz zu stark ähnelten.
ARC-AGI-3 hat dieses Problem gelöst. Die Agenten werden nun in interaktive, rundenbasierte Spiele versetzt. Die einzige Anweisung lautet: „Du spielst ein Spiel. Dein Ziel ist es, zu gewinnen. Antworte mit genau der Aktion, die du ausführen möchtest.“ Der Agent sieht ein farbiges Raster mit 64x64 Feldern, wählt eine Aktion aus, beobachtet, was sich verändert, und muss selbst herausfinden, was das Ziel ist und wie es erreicht werden kann.
Wie die Punktzahl berechnet wurde
Der Test verwendet keine einfache Ja/Nein-Bewertung. Stattdessen misst er die sogenannte RHAE (Relative Human Action Efficiency), auf Deutsch die relative Effizienz von Aktionen im Vergleich zum Menschen. Dabei wird berechnet, wie viele Züge der Agent im Vergleich zum zweitbesten menschlichen Ergebnis auf derselben Stufe benötigte. Das Ergebnis wird anschließend quadriert.
Was bedeutet das in der Praxis? Wenn ein Mensch eine Stufe in 10 Zügen löst und ein Agent dafür 100 benötigt, erhält er nicht 10 Prozent, sondern lediglich ein Prozent. Jeder unnötige Zug kostet nicht nur ein paar Punkte, sondern ein Vielfaches davon. Außerdem gibt es eine Obergrenze: Benötigt der Agent mehr als das Fünffache der menschlichen Zugzahl, wird der Versuch sofort beendet.
Warum so streng? Weil Intelligenz nicht nur davon abhängt, ob man eine Aufgabe bewältigt, sondern auch davon, wie schnell und effizient man das Ziel erreicht. Das blinde Ausprobieren aller Möglichkeiten, bei dem ein Agent Tausende von Kombinationen testet, zeigt mangelndes Verständnis der Situation und nicht die Fähigkeit zum logischen Denken.
Während der Testphase vor dem Start erreichte der beste Agent eine Punktzahl von 12,58 Prozent. Interessanterweise handelte es sich dabei nicht um ein Sprachmodell, sondern um ein einfacheres System, das bestärkendes Lernen mit der Suche in Zustandsraumgraphen kombinierte. Führende Sprachmodelle wie Gemini 3.1 erreichten in der offiziellen Rangliste lediglich 0,37 Prozent.
Warum große Sprachmodelle scheitern
GPT-5, Claude und Gemini sind keine dummen Modelle. Beim Schreiben, Programmieren oder Analysieren von Texten sind sie außerordentlich nützlich. Wo liegt also das Problem?
Sprachmodelle sind für Texteingaben und Textausgaben konzipiert. Jede Anfrage verarbeiten sie als relativ eigenständige Einheit. ARC-AGI-3 hingegen verlangt vom Agenten, über Hunderte aufeinanderfolgende Schritte hinweg ein konsistentes Weltmodell aufrechtzuerhalten, es mit jeder neuen Information zu aktualisieren und all das ohne ein einziges Wort in der Umgebung zu tun. Das Raster spricht nicht, daher gibt es keinen Prompt, der optimiert werden könnte.
Die Forscher beobachteten ein typisches Fehlermuster: Wenn der Kontext über Hunderte Spielzüge hinweg immer länger wird, verlieren sich die Modelle in der angesammelten Historie. Die Leistung sinkt nicht, weil sie von Schritt zu Schritt dümmer werden, sondern weil das Signal im Rauschen ihres eigenen Gedächtnisses untergeht. Das erklärt genau, warum ein einfaches System mit bestärkendem Lernen alle Sprachmodelle um mehr als das Dreißigfache übertraf. Es wurde speziell für sequenzielle Entscheidungen unter Unsicherheit entwickelt. Sprachmodelle nicht.
Was der Test über die Behauptung „AGI ist da“ aussagt
Nvidia-Chef Jensen Huang erklärte, dass allgemeine künstliche Intelligenz (AGI) bereits existiere. Ähnliche Aussagen kommen auch von OpenAI. Die Ergebnisse von ARC-AGI-3 stehen dazu in scharfem Kontrast.
Man muss jedoch präzise sein: Beide Aussagen schließen einander nicht aus, da sie unterschiedliche Dinge messen. Huang meint wahrscheinlich so etwas wie: „KI kann die meisten wirtschaftlich wertvollen Aufgaben die meiste Zeit besser erledigen als die meisten Menschen“, was sich unter den eigenen Voraussetzungen durchaus vertreten lässt. ARC-AGI-3 misst etwas Spezifischeres: die Fähigkeit zu adaptivem, zielgerichtetem Denken in neuen Umgebungen, in denen keinerlei Hinweise gegeben werden. Dazu liegen Daten vor, und diese Daten zeigen, dass die Kluft derzeit gewaltig ist. Eine Punktzahl von 0,37 Prozent für Gemini 3.1 ist kein uneindeutiges Ergebnis.
Der Benchmark verhindert bewusst, dass KI mehr als 100 Prozent erreicht. Selbst wenn ein Agent die Umgebung effizienter als Menschen bewältigen würde, bliebe die Obergrenze bestehen. Darin spiegelt sich die Philosophie der Entwickler wider: Der Test soll nicht zeigen, dass die KI den Menschen übertroffen hat, sondern klar feststellen, wann sie sich ihm angenähert hat.
Der Wettbewerb geht weiter
Der ARC Prize 2026 läuft mit einem Gesamtpreisgeld von 2 Millionen Dollar und ist in zwei Bereiche unterteilt: ARC-AGI-3 und die letzte Ausgabe des älteren ARC-AGI-2. Wer bei ARC-AGI-3 als Erster 100 Prozent erreicht, erhält den Hauptpreis von 700.000 Dollar. Die Meilensteinprüfungen finden im Juni und September 2026 statt.
Ob sich bis zum Jahresende irgendein Team der 50-Prozent-Marke annähern wird, ist ehrlich gesagt ungewiss. Aufgrund der quadratischen Bestrafung bedeuten 50 Prozent eine Leistung, die nahezu mit der menschlichen Effizienz vergleichbar ist. Von dieser Messlatte ist derzeit jedes System noch sehr weit entfernt.
Die Zahl, die jeden, der die Entwicklung der KI verfolgt, innehalten lassen sollte, ist nicht 0,37 Prozent. Es sind die 12,58 Prozent eines einfachen Algorithmus zur Graphensuche. Kein Sprachmodell kam auch nur annähernd an ihn heran. Das spricht für sich.
Sie können das Spiel selbst auf der Website arcprize.org ausprobieren.
