OpenAI ve čtvrtek zpřístupnila Decisions API všem zákazníkům a do veřejné verze přidala podporu hlasu a obrazu. Rozšíření dostupnosti služby, kterou poprvé oznámila na vývojářském dni 29. září, doprovází také úpravy infrastruktury zaměřené na nižší latenci v různých regionech světa.
Základem je upravený ChatGPT Luna
Za Decisions API nestojí nově vytvořený, zvlášť kalibrovaný rozhodovací model. Produktový šéf API OpenAI Nikunj Handa uvedl, že tým místo toho upravil ChatGPT Luna s cílem zrychlit inferenci a snížit náklady.
Handa označuje rychlost za hlavní přínos služby: podle něj se odezva zkrátila z jedné až tří sekund na 100, 120 či 180 milisekund.
Hlas, obraz a využití v asistentovi Dots
Podpora hlasových a obrazových modalit je součástí veřejně dostupné verze. Handa vyzdvihuje zejména klasifikaci obrázků, při níž označuje Lunu za velmi silnou. Zmiňuje také lepší kalibraci, ale své srovnání nevztahuje ke konkrétnímu modelu.
OpenAI službu využila také ve vlastním hlasovém asistentovi Dots, u něhož s pomocí Decisions API zlepšila odezvu.
Speak hlásí kratší interval mezi akcemi
Počátečních zákaznických zkoušek se účastnily například Box, Datadog, Ramp a Speak. Vývojáři v těchto zkouškách nahrazovali jazykové modely OpenAI službou Decisions API a dosahovali vyšší propustnosti.
Konkrétní výsledek uvedl Andrew Hsu, technický ředitel Speak, která vyvíjí AI jazykové lektory. Podle něj firma díky Decisions API zkrátila čas mezi akcemi z 1,4 sekundy na 0,13 sekundy.
V obou indexech je model OpenAI za Jev
TechCrunch uvádí, že rozhodovací model OpenAI obsadil v AIM System One Index osmé místo, zatímco nejnovější Jev od TypeSafe skončil sedmý. V Artificial Analysis Decision Index byl model OpenAI čtrnáctý a Jev třetí.
