OpenAI hat Decisions API am Donnerstag für alle Kunden freigeschaltet und die öffentliche Version um Sprach- und Bildunterstützung erweitert. OpenAI hatte den Dienst erstmals am 29. September auf seinem Entwicklertag angekündigt. Zur Freigabe hat das Unternehmen seine Rechenressourcen für die Modellausführung regional zugewiesen, um die Latenz in verschiedenen Weltregionen zu senken.
Ein angepasstes ChatGPT Luna als Grundlage
Hinter Decisions API steht kein neu entwickeltes, eigens kalibriertes Entscheidungsmodell. Wie OpenAIs API-Produktchef Nikunj Handa erklärte, hat das Team stattdessen ChatGPT Luna angepasst, um die Modellausführung zu beschleunigen und die Kosten zu senken.
Handa sieht die Geschwindigkeit als wichtigsten Vorteil des Dienstes: Ihm zufolge sank die Antwortzeit von einer bis drei Sekunden auf 100, 120 oder 180 Millisekunden.
Sprache, Bilder und der Assistent Dots
Die öffentlich verfügbare Version unterstützt Sprache und Bilder. Handa hebt insbesondere die Bildklassifikation hervor, bei der er Luna als sehr leistungsfähig bezeichnet. Er spricht zudem von einer besseren Kalibrierung, nennt dabei aber kein konkretes Vergleichsmodell.
OpenAI hat den Dienst auch für den eigenen Sprachassistenten Dots eingesetzt und dessen Reaktionszeit mithilfe von Decisions API verbessert.
Speak meldet kürzere Abstände zwischen Aktionen
An den ersten Kundentests beteiligten sich unter anderem Box, Datadog, Ramp und Speak. Entwickler ersetzten dabei Sprachmodelle von OpenAI durch Decisions API und erzielten einen höheren Durchsatz.
Ein konkretes Ergebnis nannte Andrew Hsu, Technikchef von Speak, das KI-Sprachtutoren entwickelt. Ihm zufolge verkürzte das Unternehmen mit Decisions API die Zeit zwischen Aktionen von 1,4 Sekunden auf 0,13 Sekunden.
OpenAIs Modell liegt in beiden Indizes hinter Jev
TechCrunch berichtet, dass OpenAIs Entscheidungsmodell im AIM System One Index den achten Platz belegte, während die neueste Version von TypeSafes Jev auf Rang sieben kam. Im Artificial Analysis Decision Index lag OpenAIs Modell auf Platz vierzehn und Jev auf Platz drei.
