Společnost OpenAI představila novou úroveň služby s názvem Ultrafast, ve které její model GPT-5.6 Sol běží až čtrnáctkrát rychleji než při standardním zpracování. Firma slibuje rychlost až 750 výstupních tokenů za sekundu, přičemž celou tuto technologii staví na hardwaru společnosti Cerebras. Zatím se jedná o omezený předběžný přístup pro vybranou skupinu zákazníků využívajících API, nikoli o funkci, kterou by si mohl kdokoli zapnout přímo v rozhraní ChatGPT.
Dosud platil nepříjemný kompromis. Když firma potřebovala odpověď okamžitě, musela sáhnout po menším nebo úzce zaměřeném modelu. Ten byl sice svižný, ale u složitějších problémů, při práci s několika nástroji nebo u delších řetězců rozhodnutí často nestačil. Silnější model zase přemýšlel tak dlouho, že se pro živou interakci nehodil. Ultrafast má tento kompromis odstranit. OpenAI ho popisuje heslem „více užitečné práce za sekundu“ a míří s ním do situací, kde se na výsledek čeká v řádu vteřin, nikoli minut.
Pro koho má Ultrafast smysl
Společnost OpenAI vyzdvihla několik způsobů nasazení, u kterých již vidí první výsledky. Při výpadku kritického systému může model číst provozní záznamy, procházet nedávné změny v kódu i hlášení techniků a hledat pravděpodobnou příčinu ještě během probíhající havárie. Ve finančním sektoru se jedná o analýzu tržních signálů, posuzování transakcí a odhalování podezřelé aktivity ve chvíli, kdy se podmínky neustále mění.
Velkým tématem je hlasová a zákaznická podpora. Když asistent potřebuje dohledat údaje ve třech systémech, ověřit podmínky a teprve pak odpovědět, každá prodleva se v hovoru sčítá a zákazník to okamžitě pozná. Podobně to platí v online obchodování, kde model odpovídá na dotazy k produktům, kontroluje skladové zásoby a řeší problémy s placením dříve, než nakupující odejde a nechá plný nákupní košík opuštěný.
Výzkumné týmy v OpenAI běžně spouštějí sadu experimentů přes noc a výsledky kontrolují až ráno. S vyšší rychlostí se tento vývojový cyklus zkracuje natolik, že lze během jediného pracovního dne vyzkoušet několik různých variant za sebou.
Spolupráce s firmou Cerebras
Technologie Ultrafast je založena na pokračující spolupráci OpenAI s firmou Cerebras, která vyrábí takzvané wafer-scale procesory. Zjednodušeně řečeno se jedná o mimořádně velké čipy navržené speciálně pro výpočty umělé inteligence. Místo toho, aby se výpočetní úloha dělila mezi velké množství menších jednotek, drží se co nejvíce práce pohromadě na jednom místě.
Tento přístup se hodí právě u velkých jazykových modelů. Každý další token totiž navazuje na ten předchozí, takže výsledná rychlost stojí a padá s tím, jak krátká je pauza mezi jednotlivými kroky. Jakmile se tato prodleva zkrátí, text přestane přicházet po jednotlivých dávkách a začne plynule téct.
Jedna zásadní věc se přitom snadno přehlédne. Zveřejněné číslo popisuje tempo generování výstupu, nikoli dobu, za kterou dorazí kompletní odpověď. Do té se totiž neustále započítává rychlost sítě, délka zadání, volání externích nástrojů i čekání na okolní systémy. Firemní aplikace se tedy nezrychlí sama od sebe pouze tím, že se přepne na jiný režim.
Cena a dostupnost
Zatím chybí oficiální ceník, způsob účtování i limity využití. Není veřejně známo, za jakých podmínek společnost dosahuje zmíněných 750 tokenů za sekundu, ani jak se rychlost projeví u delších požadavků a při souběžném provozu více uživatelů. Termín spuštění pro Evropu společnost OpenAI zatím neoznámila. U rychlostních úrovní API navíc upozorňuje, že dostupnost v jednotlivých zemích závisí na místních legislativních podmínkách. Přístup má proto v současné době jen malá skupina firem, které model Sol v tomto režimu testují na programování, obchodování, finanční analýzy a zákaznickou podporu. Zájemci se mohou přihlásit prostřednictvím formuláře a čekat, až OpenAI uvolní další kapacitu.
