Das geheimnisvolle Startup TypeSafe AI hat sein erstes Modell veröffentlicht. Es heißt Jev und unterscheidet sich in einem Punkt von allem, was wir heute gemeinhin unter der Abkürzung KI kennen. Es kann keine Texte schreiben. Es verfasst weder eine Antwort im Chat noch eine E-Mail oder Programmcode. Stattdessen erhält es eine Beschreibung der Situation und vorab vorbereitete Fragen, auf die es Antworten in einer exakt vorgegebenen Form zurückgibt. Zu jeder Antwort fügt es außerdem eine Zahl hinzu, die den Grad seiner Sicherheit ausdrückt. Da es nichts in Worten ausgibt, kann es sich den Entwicklern zufolge auch nichts ausdenken.
Ein Modell, das nur entscheidet
Heutige Sprachmodelle funktionieren, indem sie eine Antwort Wort für Wort zusammensetzen und jedes weitere Wort anhand der vorherigen vorhersagen. Deshalb können sie alles Mögliche schreiben, sich zugleich aber auch alles Mögliche ausdenken. Das Modell Jev ist anders aufgebaut. Als Eingabe erhält es eine Beschreibung des Zustands, beispielsweise Angaben über einen Kunden oder den Inhalt einer Anfrage, sowie eine Reihe von Fragen und berechnet alle Antworten in einem einzigen Vorgang.
Es kann drei Arten von Fragen beantworten: Ja oder Nein mit Angabe einer Wahrscheinlichkeit, die Auswahl aus vorab festgelegten Optionen oder eine Bewertung auf einer Skala. Mehr nicht. Wenn ein Programmierer im Voraus festlegt, dass die Antwort eine von vier Möglichkeiten sein muss, kann das Modell nichts anderes zurückgeben. Nach Angaben des Unternehmens funktioniert Jev wie eine intelligente Bedingung innerhalb eines Programms. Dort, wo man eine Regel von Hand schreiben könnte, diese jedoch zu unzuverlässig wäre, kommt das Modell zum Einsatz und trifft die Entscheidung.
Genau daraus ergibt sich, dass Jev nicht halluzinieren kann. Es setzt weder einen nicht existierenden Funktionsnamen zusammen noch erfindet es eine Zahl, weil es nie etwas zusammensetzt. Die Form der Antwort ist im Voraus festgelegt, und das Unternehmen behauptet, dass ein Fehler mathematisch ausgeschlossen sei. Zugleich fügt es hinzu, dass sich diese Behauptung durch ein einziges Gegenbeispiel widerlegen ließe, falls es jemandem gelingen sollte, eines zu finden.
Konkurrenzlose Geschwindigkeit und Kosten
Die Geschwindigkeit ist die zweite Eigenschaft, mit der TypeSafe punkten will. Eine Antwort von Jev trifft dem Unternehmen zufolge nach 70 bis 500 Millisekunden ein, also ungefähr innerhalb eines Wimpernschlags. Große Modelle, mit denen es verglichen wird, benötigen für eine Antwort zwischen drei Sekunden und mehreren Minuten, wenn der Denkmodus aktiviert ist. Laut TypeSafe entspricht das einem Unterschied um den Faktor vierzig bis zweihundert.
Ähnlich sieht es bei den Kosten aus. Für eine Million Eingabe-Token berechnet das Unternehmen ungefähr vier Hundertstel Cent, was etwa zwei Dollar für fünfzig Milliarden Textzeichen entspricht. Ausgaben werden überhaupt nicht berechnet, mit der Begründung, sie seien so günstig, dass es sich nicht einmal lohne, sie zu messen. Bei herkömmlichen Modellen ist hingegen gerade die Ausgabe am teuersten und kostet üblicherweise etwa das Fünffache der Eingabe.
In den Tests, die TypeSafe veröffentlicht hat, zeigte sich, dass Jev dieselbe Arbeit fast zweihundertmal schneller und ungefähr vierhundertmal günstiger erledigt als große Modelle. Das Unternehmen weist bei diesen Zahlen darauf hin, dass sie die Obergrenze dessen darstellen, was in der Praxis zu erwarten ist.
Die Vorteile gehen mit relativ strengen Einschränkungen einher. Das Modell verarbeitet keine Bilder, verfügt über keine Chat-Oberfläche und sein Kontextfenster für eine einzelne Anfrage ist etwa dreißigmal kleiner als bei heutigen großen Modellen. Sie können ihm höchstens zweihundertfünfundfünfzig Optionen zur Auswahl anbieten; bei größeren Mengen muss die Aufgabe in zwei Durchgängen gelöst werden.
Es ist daher als Ergänzung zu großen Modellen und nicht als deren Ersatz gedacht. Typischerweise soll es Anfragen klassifizieren und weiterleiten, Informationen aus Daten extrahieren, Einträge bewerten oder die Ausgaben einer anderen künstlichen Intelligenz überwachen und Versuche erkennen, Regeln zu umgehen.
Jev räumt Unsicherheit ein
TypeSafe-Chef Diogo Almeida behauptet, das größte Problem heutiger künstlicher Intelligenz sei nicht Dummheit, sondern übertriebenes Selbstvertrauen. Die Modelle präsentieren jede Antwort so, als wäre sie hundertprozentig richtig. Die ganze Zeit über hätten wir Modelle auf Menschen und darauf abgestimmt, wie sie Menschen gefallen können; darin seien sie heute besser als die Menschen selbst, sagt er.
Das Problem sieht dann folgendermaßen aus: Wenn ein Modell eine bestimmte Aufgabe in fünfundneunzig von hundert Fällen bewältigt, aber nie angibt, in welchen fünf Fällen es sich geirrt hat, kann man sich in keinem einzigen Fall darauf verlassen. Das Unternehmen muss alles von einem Menschen überprüfen lassen, wodurch die Zeit- und Kostenersparnis entfällt. Jev liefert deshalb zu jeder Antwort eine Wahrscheinlichkeit und einen Sicherheitsgrad, und zwar so, dass die Zahlen der Realität entsprechen. Höhere Sicherheit bedeutet eine höhere Erfolgsquote. Der Programmierer kann dann einen Schwellenwert festlegen. Aufgaben, die darüber liegen, erledigt das System selbst, jene darunter leitet es an einen Menschen weiter. Almeida fasst es so zusammen, dass sich Prozesse dadurch endlich automatisieren lassen, anstatt überhaupt nichts zu automatisieren.
Das Modell wurde mit einer neuen Methode trainiert, die das Unternehmen als Lernen für kalibrierte Entscheidungen bezeichnet. Während herkömmliche Modelle danach lernen, welche Antwort Menschen besser gefällt, wurde Jev darauf trainiert, dass seine Wahrscheinlichkeitsschätzungen mit der Realität übereinstimmen.
Doom und ein Rennen durch Wikipedia
Zur Ankündigung fügte das Team zwei Beispiele hinzu, die zeigen, was sich mit derart schnellen Entscheidungen erreichen lässt. Im ersten spielt Jev Doom. Es erhält eine Beschreibung der Spielsituation und entscheidet zehnmal pro Sekunde, wie es vorgehen soll. Eine Stunde auf diese Weise zu spielen kostet ungefähr sieben Dollar, was selbst die Entwickler überraschte.
Das zweite Beispiel ist ein Rennen durch Wikipedia, bei dem man von einer Seite zu einer anderen gelangen muss, und zwar ausschließlich über Links, auf die man unterwegs stößt. Bei jedem Schritt stehen Hunderte bis Tausende Links zur Auswahl, und das Modell darf keinen auswählen, der auf der Seite tatsächlich nicht vorhanden ist. Nach Angaben des Unternehmens erreichte Jev das Ziel in weniger Schritten als die Sprachmodelle, mit denen es verglichen wurde.
Hinter Jev steht ein ehemaliger OpenAI-Forscher
TypeSafe AI wurde 2024 gegründet und arbeitete zwei Jahre lang im Verborgenen. Geleitet wird das Unternehmen von Diogo Almeida, der zuvor in der Forschung bei OpenAI tätig war und an der Entwicklung des Lernens aus menschlichem Feedback, an der Studie zu InstructGPT sowie an der Entwicklung von ChatGPT und GPT-4 mitwirkte. Er gründete das Unternehmen gemeinsam mit Erik Gafni und Sasha Sheng.
Almeida spricht mit bemerkenswerter Distanz über seine vier Jahre bei OpenAI. Nach eigenen Worten glaubte er damals, dass Chatmodelle das Fachgebiet zur allgemeinen künstlichen Intelligenz führen würden, erkannte jedoch allmählich, dass etwas Grundlegendes fehlte. Seine Frage lautet, warum Modelle, die sich in Gesprächen besser schlagen als Menschen, bislang fast keine echte Automatisierung ermöglicht haben. Seine Antwort darauf ist, dass der Großteil künstlicher Intelligenz nicht mit Menschen sprechen, sondern unbemerkt innerhalb von Programmen laufen sollte.
Der Name Jev ist eine Hommage an den Ökonomen William Stanley Jevons, der im neunzehnten Jahrhundert feststellte, dass effizientere Dampfmaschinen den Kohleverbrauch nicht senkten, sondern im Gegenteil erhöhten, weil es sich plötzlich lohnte, sie überall einzusetzen. Das Unternehmen erwartet dasselbe. Jede Verzehnfachung der Kostensenkung von Intelligenz werde seiner Ansicht nach zehnmal so viele neue Anwendungsmöglichkeiten eröffnen.
Quellen: typesafe.ai und forbes.com
