Künstliche Intelligenz verspricht eine Revolution bei professionellen Dienstleistungen – ein Team erfahrener Fachleute, das rund um die Uhr zu einem Bruchteil des üblichen Gehalts verfügbar ist. Die Realität sieht bislang jedoch anders aus, wie der neue Benchmark APEX-Agents des Unternehmens Mercor zeigt.
Was ist der APEX-Agents-Benchmark?
APEX-Agents ist der erste Benchmark, der testet, ob KI-Agenten tatsächlich langfristige und komplexe Aufgaben im Bereich professioneller Dienstleistungen bewältigen können. Im Gegensatz zu früheren Tests schafft er eine echte Arbeitsumgebung mit realen Dateien und Anwendungen.
Der Benchmark wurde von 256 Fachleuten der Plattform Mercor erstellt – ehemaligen Beratern von BCG und McKinsey, Investmentbankern von Morgan Stanley und Citigroup sowie Unternehmensjuristen von Disney und anderen Fortune-500-Unternehmen. Diese Fachleute mit durchschnittlich 12,9 Jahren Berufserfahrung erstellten 480 Aufgaben, die auf 33 verschiedene „Welten“ – komplexe Projektszenarien – verteilt waren.
Jede „Welt“ stellt ein realistisches Projekt dar. Beispielsweise arbeitet ein Beraterteam des fiktiven Unternehmens NorthPoint Strategy Partners für den Kunden PureLife Wellness an einem fünfjährigen Expansionsplan. Es muss die weltweite Nachfrage erfassen, Verbrauchertrends bewerten und die vielversprechendsten Märkte identifizieren. Die Fachleute erstellten E-Mails, Tabellen, Präsentationen und weitere Dokumente – genau wie für einen echten Kunden. Jede Welt enthält durchschnittlich 166 Dateien und neun Anwendungen mit insgesamt 63 Werkzeugen. Die Aufgaben sind anspruchsvoll – erfahrene Fachleute schätzen, dass ihre Bearbeitung 1–2 Stunden dauert.
Ergebnisse: Gemini 3 Flash führt, doch die Erfolgsquote ist niedrig
Mercor testete acht KI-Agenten, wobei jeder Agent jede Aufgabe achtmal ausführte – insgesamt 30 720 Versuche. Die Ergebnisse sind ernüchternd. Am besten schnitt Gemini 3 Flash von Google DeepMind mit einem Pass@1-Wert von 24,0 % ab (Erfolgsquote beim ersten Versuch). Knapp dahinter folgte GPT-5.2 von OpenAI mit 23,0 %. Den dritten und vierten Platz belegten Claude Opus 4.5 von Anthropic und Gemini 3 Pro, beide mit 18,4 %.
In der Praxis bedeutet das: Wenn Sie einem KI-Agenten eine zufällige Aufgabe stellen, erledigt das beste Modell sie nur in einem von vier Fällen korrekt. In drei von vier Fällen scheitert es. Die beiden getesteten Open-Source-Modelle – GPT-OSS-120B und Kimi K2 Thinking – erzielten Werte von unter 5 % und schnitten damit deutlich schlechter ab als die kommerziellen Modelle.
Die Erfolgsquote unterscheidet sich je nach Art der Arbeit. Am besten schnitten die Agenten bei Aufgaben für Investmentbanker ab, bei denen GPT-5 und GPT-5.2 27,3 % erreichten. Bei Beratungsaufgaben lag der beste Wert bei 22,7 % (GPT-5.2), bei juristischen Aufgaben bei 25,9 % (Gemini 3 Flash).
Konsistenz ist ein großes Problem
Wenn die Agenten acht Versuche pro Aufgabe hatten (Pass@8), erreichte das beste Modell GPT-5.2 eine Erfolgsquote von 40,0 % – 15 Prozentpunkte mehr als bei einem einzigen Versuch. Das zeigt, dass die Agenten zwar über die nötigen Fähigkeiten verfügen, aber inkonsistent sind. Noch interessanter ist die Messung Pass^8, die den Erfolg bei allen acht Versuchen bewertet. Das beste Modell Gemini 3 Flash erreichte lediglich 13,4 %. Das bedeutet, dass selbst dann, wenn ein Agent eine Aufgabe einmal bewältigt, nicht garantiert ist, dass er dies erneut schafft.
Gemini 3 Flash verwendet fast fünfmal mehr Token als GPT-5.2 und 54 % mehr Schritte. Obwohl das Modell effektiv ist, arbeitet es nicht sparsam. Am anderen Ende verwendet Kimi K2 Thinking durchschnittlich 92 Schritte und 1,6 Millionen Token pro Aufgabe, was zeigt, dass mehr Ressourcen nicht immer bessere Ergebnisse bedeuten. Alle Agenten scheiterten in mindestens 40 % der Versuche mit einem Ergebnis von null Punkten. Kimi K2 Thinking blieb häufig in einer Schleife hängen und überschritt in 29,8 % der Fälle das Zeitlimit. Aufgaben, bei denen Dateien erstellt werden mussten, waren schwieriger als solche, bei denen eine Antwort in der Konsole genügte. Gemini 3 Flash schnitt in beiden Kategorien am besten ab, verzeichnete bei dateibasierten Aufgaben jedoch einen Rückgang um 4,9 %.
In den Aufgabenstellungen wurde nie verlangt, Dateien zu löschen. Dennoch löschte GPT-5.2 21 Dateien, Grok 4 sechs und Gemini 3 Flash fünf. Claude Opus 4.5, GPT-5 und Kimi K2 Thinking löschten keine Dateien.
Zur Bewertung der Ergebnisse erstellten die Fachleute ein Bewertungsraster mit Kriterien. Jede Aufgabe hat durchschnittlich 4,06 Kriterien. Das Modell Gemini 3 Flash fungiert als Bewerter und erreichte bei einem Test mit einer Stichprobe von 747 Kriterien eine Genauigkeit von 98,5 %.
Bewertung der Tests
Die Ergebnisse von APEX-Agents zeigen, dass bei KI-Agenten noch erhebliches Verbesserungspotenzial besteht. Die besten Agenten erreichen bei Pass@1 weniger als 25 % und bei Pass@8 nicht mehr als 40 %.
Die Agenten sind in der Lage, komplexe professionelle Aufgaben auszuführen, tun dies jedoch inkonsistent und mit einer hohen Fehlerquote. Für Unternehmen bedeutet das, dass KI-Agenten als Assistenten nützlich sein können, die bei Teilen von Aufgaben helfen, aber noch nicht bereit sind, erfahrene Fachleute vollständig zu ersetzen. Mercor hat den gesamten Datensatz auf der Plattform Hugging Face zusammen mit der Archipelago-Infrastruktur zur Ausführung und Bewertung von Agenten als Open Source zugänglich gemacht.
Bei der Zukunft der Arbeit wird es wahrscheinlich nicht darum gehen, Menschen durch KI zu ersetzen, sondern um die Zusammenarbeit zwischen Menschen und KI-Agenten, bei der jede Seite ihre Stärken einbringt. Während sich KI-Agenten weiterentwickeln, wird es interessant sein zu beobachten, wann – wenn überhaupt – sie ein Niveau erreichen, auf dem sie professionelle Arbeit zuverlässig und ohne menschliche Aufsicht ausführen können.
