Im Bereich der künstlichen Intelligenz entstehen neue Tests, die überprüfen, wie gut Modelle mit Fakten umgehen können. Ein neuer Benchmark des Unternehmens Artificial Analysis testete 40 große Sprachmodelle, und die Ergebnisse sind nicht besonders ermutigend. Nur vier von ihnen erreichten einen positiven Wert im sogenannten Omniscience Index, dessen Skala von -100 bis +100 reicht. Den ersten Platz belegte Googles Modell Gemini 3 Pro mit 13 Punkten. Dahinter folgen Claude 4.1 Opus mit 4,8 Punkten, GPT-5.1 und Grok 4. Dieser Index misst, wie zuverlässig die Modelle korrekte Informationen aus verschiedenen Bereichen liefern.
Gemini 3 Pro erreichte diesen Vorsprung vor allem dank seiner Genauigkeit von 53 %. Das sind 14 Prozentpunkte mehr als beim bisherigen Spitzenreiter Grok 4. Die Forscher von Artificial Analysis erklären dies damit, dass die Genauigkeit mit der Größe des Modells zusammenhängt – größere Modelle wie Gemini 3 Pro verfügen über eine bessere Abdeckung von Fakten. Ein Wert von 0 würde bedeuten, dass das Modell gleich häufig richtig und falsch antwortet. Der Benchmark umfasst 6.000 Fragen aus 42 Themengebieten in sechs Bereichen: Wirtschaft, Geistes- und Sozialwissenschaften, Gesundheit, Recht, Softwareentwicklung sowie Naturwissenschaften und Mathematik. Die Fragen stammen aus vertrauenswürdigen akademischen und industriellen Quellen und wurden automatisch von einem KI-Agenten erstellt.
Halluzinationen sind das Hauptproblem der KI
Obwohl Gemini 3 Pro bei der Genauigkeit führt, bleiben Halluzinationen seine größte Schwäche – das bedeutet, dass das Modell häufig mit großer Sicherheit falsche Antworten liefert, anstatt zuzugeben, dass es etwas nicht weiß. Seine Halluzinationsrate liegt bei 88 % und entspricht damit derjenigen der Modelle Gemini 2.5 Pro und Gemini 2.5 Flash. GPT-5.1 (high) erreicht beispielsweise 81 % und Grok 4 64 %. Das bedeutet, dass ein großer Teil aller falschen Antworten auf Fälle entfällt, in denen das Modell Fakten erfindet, anstatt sein Unwissen einzugestehen.
Claude 4.1 Opus erreichte eine Genauigkeit von 36 %, wies dabei jedoch eine der niedrigsten Halluzinationsraten auf, was dem Modell zuvor den ersten Platz eingebracht hatte. Die Forscher betonen, dass eine hohe Halluzinationsrate bei allen getesteten Modellen ein Problem darstellt. Halluzination bezeichnet hier den Anteil fehlerhafter Antworten an allen nicht korrekten Versuchen, was auf eine übermäßige Selbstsicherheit der Modelle hindeutet.
Falsche Antwort? Dafür gibt es eine Strafe!
Dieser Benchmark unterscheidet sich von herkömmlichen Tests dadurch, dass falsche Antworten genauso stark bestraft werden, wie richtige Antworten belohnt werden. Übliche Methoden fördern häufig das Raten, was die Zahl der Halluzinationen erhöht. Im Omniscience Index erhalten Modelle für das Eingeständnis ihres Unwissens keine Punkte, werden dafür aber auch nicht bestraft – falsche Antworten führen dagegen zu hohen Punktabzügen. Dies soll die Modelle zu mehr Vorsicht anregen.
Die Ergebnisse teilen die Modelle in vier Gruppen ein: Modelle mit umfassendem Wissen und hoher Zuverlässigkeit wie Claude 4.1 Opus, Modelle mit Wissen, aber geringer Zuverlässigkeit wie Claude 4.5 Haiku, Modelle mit begrenztem Wissen, aber gleichbleibender Zuverlässigkeit wie GPT-5.1 sowie kleine Modelle, denen es sowohl an Wissen als auch an Zuverlässigkeit mangelt, beispielsweise OpenAIs leichtgewichtiges gpt-oss. Für Gemini 3 Pro ist keine detaillierte Aufschlüsselung nach Bereichen verfügbar.
Älteres Llama-Modell überrascht mit guten Ergebnissen
Allgemeine Intelligenz muss keine faktische Zuverlässigkeit bedeuten. Modelle wie Minimax M2 oder gpt-oss-120b (high) schneiden im umfassenderen Intelligenzindex von Artificial Analysis gut ab, scheitern jedoch aufgrund hoher Halluzinationsraten am Omniscience Index. Das ältere Modell Llama-3.1-405B erzielte dagegen einen guten Wert, obwohl es in Gesamtbewertungen üblicherweise hinter neueren Modellen zurückbleibt.
Kein Modell überzeugte durchgehend in allen sechs Bereichen. Claude 4.1 Opus führte in den Bereichen Recht, Softwareentwicklung und Geisteswissenschaften, GPT-5.1.1 bei Wirtschaftsfragen und Grok 4 in den Bereichen Gesundheit und Naturwissenschaften. Diese Unterschiede bedeuten, dass die Gesamtbewertung wichtige Lücken verbergen kann.
Modellgröße bedeutet nicht immer höhere Zuverlässigkeit
Größere Modelle erreichen üblicherweise eine höhere Genauigkeit, aber nicht unbedingt niedrigere Halluzinationsraten. Mehrere kleinere Modelle wie Nvidias Nemotron Nano 9B V2 oder Llama Nemotron Super 49B v1.5 übertrafen im Omniscience Index deutlich größere Konkurrenten. Artificial Analysis bestätigte, dass die Genauigkeit mit der Größe zusammenhängt, die Halluzinationsrate jedoch nicht. Daher halluziniert Gemini 3 Pro trotz seiner hohen Genauigkeit weiterhin häufig.
Aus Kostensicht sticht Claude 4.5 Haiku hervor, das einen besseren Wert als teurere Modelle wie GPT-5.1 (high) oder Kimi K2 Thinking erreicht. Die Forscher veröffentlichten 10 % der Fragen als öffentlichen Datensatz auf Hugging Face, während der Rest privat bleibt, um eine Kontamination der Trainingsdaten zu verhindern. Eine verwandte Studie deckte Fehler in bestehenden Benchmarks auf, darunter unklare Begriffsdefinitionen oder eine unzureichende statistische Überprüfung.
Quelle: the-decoder.com
