GDPval: OpenAI testet, wie KI echte Arbeit im Vergleich zu Menschen bewältigt

OpenAI hat GDPval als neues Instrument zur Bewertung der Leistungsfähigkeit künstlicher Intelligenz bei Aufgaben vorgestellt, die einen echten wirtschaftlichen Wert haben. Dieser Benchmark konzentriert sich auf 44 Berufe aus neun wichtigen Branchen, die am meisten zum Bruttoinlandsprodukt der Vereinigten Staaten beitragen. Dazu gehören beispielsweise das Gesundheitswesen, der Finanzsektor, die Fertigungsindustrie oder der öffentliche Sektor. Der vollständige Datensatz umfasst insgesamt 1320 Aufgaben, während die offene Gold-Teilmenge 220 Aufgaben enthält. Jede Aufgabe basiert auf der realen Arbeit von Fachleuten mit durchschnittlich 14 Jahren Erfahrung, darunter Anwälte, Ingenieure oder Pflegekräfte.

Bei den Aufgaben handelt es sich nicht nur um einfache Textfragen. Die Modelle müssen mit verschiedenen Dateien arbeiten, darunter Tabellen, Präsentationen, Bilder, Videos oder Audioaufnahmen. Bei einer Aufgabe aus der Fertigungsindustrie muss das Modell beispielsweise eine Vorrichtung zum Testen von Kabelspulen entwerfen und dabei eine PowerPoint-Präsentation sowie eine Zusammenfassung als PDF erstellen. Ein Experte benötigt für eine solche Aufgabe durchschnittlich 7 Stunden, wobei ihr geschätzter Wert bei rund 9000 Kč liegt.

Wie hat OpenAI die Berufe und Aufgaben ausgewählt?

Die Branchen wurden anhand von Daten der Federal Reserve Bank of St. Louis ausgewählt, wobei jede von ihnen mehr als 5 % zum BIP der USA beiträgt. In jeder Branche wählte OpenAI anschließend die fünf Berufe mit dem höchsten Anteil an den Löhnen aus, die überwiegend digital ausgeübt werden. Dazu nutzte das Unternehmen die O*NET-Datenbank des US-Arbeitsministeriums und stufte Berufe als digital ein, wenn mindestens 60 % ihrer Aufgaben digital waren.

Zu den Berufen gehören Softwareentwickler, Anwälte, Buchhalter, Pflegekräfte, Finanzanalysten oder Redakteure. Die Experten, die die Aufgaben erstellten, durchliefen Bewerbungsgespräche, Schulungen und Kontrollen. Jede Aufgabe wurde durchschnittlich fünf Begutachtungsrunden unterzogen, einschließlich einer automatisierten Prüfung durch ein Modell und einer Bewertung durch andere Fachleute. Dadurch wurde sichergestellt, dass die Aufgaben repräsentativ und hochwertig sind; ihre durchschnittliche Schwierigkeit liegt bei 3,32 auf einer Skala von 1 bis 5.

Testergebnisse: KI nähert sich dem Menschen an

OpenAI testete Modelle wie GPT-4o, o4-mini, o3, GPT-5, Claude Opus 4.1, Gemini 2.5 Pro und Grok 4. Die Bewertung erfolgte blind, wobei Experten die Ausgaben der Modelle mit denen von Menschen verglichen. Claude Opus 4.1 erzielte die besten Ergebnisse: In 47,6 % der Fälle wurde seine Ausgabe als genauso gut oder besser als die eines Menschen bewertet. GPT-5 zeichnete sich durch Genauigkeit aus, während Claude bei der Ästhetik, etwa der Formatierung von Dokumenten, überzeugte.

Die Leistung der Modelle steigt linear – von GPT-4o bis GPT-5 hat sie sich mehr als verdreifacht. Die Modelle erledigen Aufgaben bis zu 100-mal schneller und kostengünstiger als Experten, wobei eine Aufgabe für einen Menschen durchschnittlich rund 9000 Kč kostet. Unter menschlicher Aufsicht, etwa durch Kontrolle und Korrekturen, können die Modelle Zeit und Geld sparen, beispielsweise in einem Szenario, in dem ein Experte das Modell mehrmals ausprobiert und die Aufgabe anschließend selbst fertigstellt.

Modellfehler und Verbesserungen

Die häufigsten Probleme der Modelle waren die Nichtbefolgung von Anweisungen, Formatierungsfehler oder Datenhalluzinationen. GPT-5 scheiterte beispielsweise hauptsächlich an der Formatierung, während Gemini und Grok häufig Referenzen ignorierten oder Ausgaben versprachen, die sie nicht lieferten. Ein höherer Denkaufwand, ein besserer Kontext oder Scaffolding verbesserten die Ergebnisse – so halbierte beispielsweise ein spezieller Prompt für GPT-5 die Fehler in PDF-Dateien.

OpenAI experimentierte außerdem mit weniger genau spezifizierten Aufgaben, bei denen die Modelle weniger Kontext erhielten. Dies führte zu schlechteren Ergebnissen, da sie versuchten, die benötigten Informationen zu erraten.

Offene Ressourcen und Zukunft

OpenAI hat 220 Aufgaben der Gold-Teilmenge einschließlich Prompts und Referenzdateien öffentlich zugänglich gemacht. Sie sind auf evals.openai.com verfügbar. Dort gibt es auch einen experimentellen automatischen Bewerter, der eine Übereinstimmung von 66 % mit menschlichen Experten erreicht. Dieses Instrument ist schneller, hat jedoch Einschränkungen, etwa einen fehlenden Internetzugang oder Probleme mit Schriftarten.

GDPval hat seine Grenzen – der Benchmark konzentriert sich auf eigenständige digitale Aufgaben, nicht auf interaktive oder körperliche Arbeit. Künftige Versionen sollen auf weitere Berufe, Interaktivität und komplexere Kontexte ausgeweitet werden. OpenAI ruft Experten und Kunden dazu auf, Beiträge zu leisten, damit der Benchmark gemeinsam mit der Community wächst. Dieses Instrument hilft dabei, die Fortschritte der KI und ihre Auswirkungen auf den Arbeitsmarkt zu verfolgen, wo Modelle Routineaufgaben übernehmen und den Menschen die kreativen Aufgaben überlassen können.