Neben Chatbots, die Texte schreiben und programmieren können, wächst unauffälliger eine zweite Kategorie heran. Sie werden Entscheidungsmodelle genannt und tun genau das Gegenteil von dem, was wir von KI gewohnt sind. Sie schreiben nicht. Sie erhalten eine Frage, sehen sich die Daten an und geben eine Antwort aus einer vorgegebenen Liste sowie eine Zahl zurück, die angibt, wie sicher sie sich sind. Für diesen Bereich gibt es eine eigene Rangliste des Analyseunternehmens Artificial Analysis, in der mehr als zwanzig Modelle von Microsoft, Google, OpenAI, Perplexity, Cloudflare und weiteren Anbietern miteinander konkurrieren. Mitte November setzte sich das Unternehmen Liquid AI mit den Modellen d1.2 und d1.2-ultra an die Spitze.
Wie es an einem einfachen Beispiel funktioniert
Am besten lässt sich das anhand einer Kundenbeschwerde zeigen. Es geht eine Nachricht ein, in der es etwa heißt, dass die Zahlungen seit drei Tagen nicht funktionieren, morgen die Miete fällig ist und dies angeblich unzumutbar sei. Das Unternehmen muss daraus drei Dinge ermitteln. An wen die Nachricht weitergeleitet werden soll, ob sie dringend ist und wie verärgert die Person ist.
Ein Sprachmodell antwortet darauf mit einem Text, den anschließend jemand analysieren und in Daten umwandeln muss. Ein Entscheidungsmodell beantwortet alle drei Fragen gleichzeitig in einem einzigen Aufruf und versieht jede Möglichkeit mit einer Wahrscheinlichkeit. Es gibt also an, mit welcher Wahrscheinlichkeit der Fall in die Buchhaltung oder mit einer anderen Wahrscheinlichkeit an den technischen Support gehört, wie hoch die Dringlichkeit ist und dass der Kunde seiner Einschätzung nach verärgert ist.
Genau deshalb sind sie günstig und schnell. Sie wählen aus einer festen Reihe von Möglichkeiten aus und müssen daher nichts erfinden. Außerdem werden nur die Eingabetoken berechnet, während man bei Sprachmodellen sowohl für die Eingabe als auch für die Ausgabe bezahlt. Bei Liquid AI kostet das Modell d1.2 zwei Cent pro Million Eingabetoken, die Ultra-Version etwas mehr als vier Cent.
Überprüfbare Sicherheit
Alles steht und fällt mit dieser Konfidenzzahl. Wenn das Modell achtzig Prozent angibt, sollte es in ungefähr acht von zehn Fällen richtig liegen. Wenn das zutrifft, lässt sich darauf eine einfache Regel aufbauen. Alles unter neunzig Prozent landet auf dem Schreibtisch eines Menschen, der Rest wird automatisch verarbeitet.
Fachsprachlich wird dies als Kalibrierung bezeichnet und als Differenz zwischen der angegebenen Sicherheit und der tatsächlichen Erfolgsquote gemessen. Je kleiner die Zahl, desto besser. Liquid AI gibt in seinem Test mit dreizehn Aufgabensätzen und mehr als zweiundzwanzigtausend Fragen einen Fehler von 0,8 Punkten für die Ultra-Version und 1,2 Punkten für das Basismodell an. Das konkurrierende Modell Jev 1.14 kam demnach auf 2,7 Punkte, Decider von Perplexity auf 3,7 und GPT-6 Luna von OpenAI auf 7,2.
Hier ist Vorsicht geboten, denn das Unternehmen hat diesen Test selbst durchgeführt und bislang hat ihn niemand von außerhalb mit denselben Fragen wiederholt. Auch die unabhängige Rangliste von Artificial Analysis misst die Kalibrierung, und zwar anhand des sogenannten Brier-Scores. Dort erreichte das Modell d1.2-ultra 75 Punkte und d1.2 insgesamt 69. Die Ultra-Version liegt zwei Punkte vor dem bislang besten Entscheidungsmodell.
Genau darin besteht der Unterschied zwischen einem Chatbot und einem Entscheidungsmodell. Ein Chatbot antwortet selbstbewusst, auch wenn er sich etwas ausdenkt, und Sie müssen das selbst erkennen. Ein Entscheidungsmodell gibt an, dass es sich nicht sicher ist, und das System kann entsprechend damit umgehen.
Was diese Rangliste eigentlich misst
Der Artificial Analysis Decision Index v2.1 setzt das Ergebnis aus sechs verschiedenen Prüfungen mit unterschiedlicher Gewichtung zusammen. Der größte Anteil, nämlich dreißig Prozent, entfällt auf einen Aufgabensatz namens AA-Paperclip. Darin erhalten die Modelle fünfzehnhundert Lebensläufe, Quittungen, Rechnungen und Fachartikel. Bei jedem Dokument müssen sie eine Entscheidung treffen und bestimmte Informationen aus dem Text extrahieren, wobei das gesamte Dokument als eine Entscheidung zählt.
Die Bewertung von Arbeitsdokumenten macht fünfzehn Prozent aus, weitere fünfzehn Prozent entfallen auf Wissen und die Neigung, Dinge zu erfinden, fünfzehn Prozent auf Schlussfolgerungsaufgaben aus Humanity’s Last Exam mit der Möglichkeit, eine Antwort abzulehnen, und zehn Prozent auf einen Test von Nvidia, der prüft, wann das Modell ein Werkzeug verwenden sollte und wann nicht.
Der letzte Anteil von fünfzehn Prozent ist für diese Kategorie recht spezifisch und heißt AA-Symmetry. Dabei wird geprüft, ob eine Entscheidung Bestand hat, wenn die Frage umformuliert, die Antwortmöglichkeiten vertauscht oder die Frage ins Gegenteil verkehrt wird. Ein Modell, das je nach Reihenfolge der Antworten unterschiedlich antwortet, fällt bei diesem Test durch.
Was die neuen Modelle können und was über sie nicht bekannt ist
Liquid AI veröffentlichte die Modelle d1.2 und d1.2-ultra am 16. November und ergänzte Text und Bilder um Audio. Die älteren Modelle d1, d1.1 und d1-ultra wurden vom Unternehmen eingestellt und unterstützen kein Audio.
Fünf neue Antworttypen sind hinzugekommen. Das Modell kann einen konkreten Wert aus einem Dokument extrahieren, beispielsweise den Betrag auf einer Rechnung. Wenn es ihn dort nicht findet, gibt es an, dass er nicht vorhanden ist, anstatt sich eine Zahl auszudenken. Es kann in einem Text alle Abschnitte finden, die der Aufgabenstellung entsprechen, beispielsweise sämtliche personenbezogenen Daten in einer Notiz. In einem Bild kann es ein oder mehrere Objekte mit einem Rahmen markieren. Es schätzt eine Zahl einschließlich des Bereichs, in dem es sich sicher ist. Und aus einer vorgegebenen Liste wählt es alle passenden Kennzeichnungen aus, jeweils mit einer eigenen Wahrscheinlichkeit.
In eigenen Tests meldet das Unternehmen für die Ultra-Version eine Erfolgsquote von achtundneunzig Prozent beim Auslesen von Werten aus Quittungen und vierundneunzig Prozent beim Auffinden von Objekten in Bildern. Bei personenbezogenen Daten in Texten gibt es eine Präzision von vierundneunzig Prozent und eine Trefferquote von dreiundneunzig Prozent an. Das Kontextfenster der Ultra-Version kann sechsundsechzigtausend Token verarbeiten, und die durchschnittliche Bearbeitungszeit pro Aufgabe ist dem Unternehmen zufolge um achtundzwanzig Prozent gesunken.
Einige Dinge fehlen bislang. Niemand von außerhalb hat die Kalibrierung mit denselben Fragen überprüft, das Unternehmen hat weder Geschwindigkeitsparameter noch Limits veröffentlicht, und es ist unklar, ob die neuen Antworttypen in anderen Sprachen ebenso gut funktionieren wie auf Englisch. Zudem laufen die Modelle ausschließlich über die Schnittstelle von Liquid AI, sodass niemand sie herunterladen und selbst betreiben kann.
Quelle: artificialanalysis.ai



