Společnost OpenAI poprvé odhalila podrobnosti a zveřejnila naměřená data ke svému prvnímu vlastnímu čipu. Jmenuje se Jalapeño, vznikl ve spolupráci s firmou Broadcom a podle firemních testů zvládne obsloužit více dotazů na stejné množství elektřiny než nejlepší komerčně dostupné systémy, a ještě na ně odpoví rychleji. Šéf hardwaru OpenAI Richard Ho před novináři mluvil o velkém skoku proti tomu, co dnes umí nejlepší dostupné systémy
Co Jalapeño umí a co ne
Jalapeño je čip pro provoz již natrénovaných modelů, tedy pro moment, kdy uživatel odešle dotaz a systém mu skládá odpověď slovo po slově. S trénováním nových modelů nemá toto řešení nic společného, přičemž právě v této oblasti si Nvidia drží velmi silnou pozici. Společnost OpenAI proto rovnou přiznává, že bude i nadále široce nasazovat akcelerátory od Nvidie a dalších partnerů, a to pro výukovou fázi i pro samotnou obsluhu.
Čip má spotřebu 700 wattů, přičemž při testovaných úlohách se jeho skutečný dlouhodobý příkon držel na 550 wattech nebo pod nimi. Srovnávané systémy Nvidie vykazují spotřebu podstatně vyšší, u platformy GB200 jde o 1 200 wattů a u GB300 o 1 400 wattů. Richard Ho uvedl, že právě nízká spotřeba by měla srazit účty za elektřinu v datových centrech, a dodal, že by provoz díky čipu měl výrazně zlevnit.
Jak měření probíhalo
Společnost OpenAI čip podrobila veřejnému testu InferenceX od analytické firmy SemiAnalysis, který sleduje celý proces obsluhy jednoho požadavku, nikoli pouze dílčí výkon. Testy běžely na třech veřejně dostupných modelech, konkrétně na vlastním menším otevřeném modelu GPT-OSS 120B, na DeepSeek R1 a na bilionové verzi modelu Kimi K2.5 od Moonshot AI. Výsledky společnost přepočítala na jednotku příkonu, protože sama považuje efektivitu na watt za užitečnější měřítko než výkon samotného procesoru.
U všech tří modelů Jalapeño podle vyjádření OpenAI odvedl 1,5 až 1,9krát více práce na watt při plném zatížení a odpověď doručil s 1,7 až 3,6krát nižší latencí. V případě vysoce interaktivních úloh, kde záleží na okamžité reakci, se rozdíl vyšplhal na 2,1 až 4,1násobek.
Čísla ukazují, v čem tyto rozdíly spočívají. U modelu GPT-OSS 120B trvala celá odpověď zaokrouhleně jednu sekundu, zatímco u srovnávaného systému to bylo 1,8 sekundy. Jeden uživatel přitom dostával přes 1 400 tokenů za sekundu proti přibližně 535 tokenům u konkurence. U modelu DeepSeek R1 se rozdíl v celkovém čase odpovědi ukázal nejvíce, konkrétně šlo o 1,65 sekundy proti bezmála šesti sekundám. Na modelu Kimi, který byl největší z testovaných, dodal čip Jalapeño přibližně 1,5krát vyšší výkon na watt a odpovídal 3,4krát rychleji. Ve vnitřním testování na vlastních pokročilých modelech se podle společnosti odstup ještě zvětšil, což naznačuje, že se tato architektura vyplatí tím více, čím náročnější úloha na ní běží.
Rychlejší i úspornější čip
Obsluha jazykového modelu probíhá ve fázích, které kladou na hardware zcela odlišné nároky. Zpracování zadaného dotazu je náročné na výpočetní výkon, zatímco samotné generování odpovědi po jednotlivých tokenech naráží spíše na propustnost paměti. K tomu se přidává čas, který data ztrácejí přesouváním mezi jádry a čipy, protože část výpočetních jednotek pouze čeká. Systém, který vyniká v jedné fázi, tak svou výhodu často ztratí čekáním na data.
Společnost OpenAI proto stavěla čip, paměť, síť, software i celý rack jako jeden celek a usilovala o to, aby se data přesouvala co nejméně. Stav modelu včetně vyrovnávací paměti pro rozepsanou odpověď lze umístit stabilně a ponechat lokálně. Systém pak pro každou fázi aktivuje právě tu kombinaci výpočetního výkonu, paměti a sítě, kterou daná fáze vyžaduje. Síť je přímou součástí návrhu, nikoli pouhým doplňkem, a je dostatečně velká na to, aby se celá úloha vešla do jednoho propojeného systému. Výsledkem má být univerzální akcelerátor, který zvládne obě fáze a poradí si i se změnami jejich poměru během provozu, což se u agentů děje neustále.
Protože čip zvládá jak masový provoz, tak úlohy citlivé na rychlost, může OpenAI zákazníkům nabídnout volbu, zda požadují nastavení na nižší cenu, nebo na rychlejší odpovědi.
Návrh zvládla AI za devět měsíců
Od prvního návrhu k odeslání do výroby v tchajwanské společnosti TSMC uplynulo devět měsíců, což je na nový čip mimořádně krátká doba. OpenAI přiznává, že jí k tomu pomohly její vlastní modely. Ty zkoušely různá řešení, zkracovaly procesy mezi návrhem, měřením a ověřováním a pomohly vyladit i aritmetické obvody. Díky tomu se do čipu vešlo více výpočetního výkonu, než by se stihlo běžným způsobem.
Společnost zároveň navrhla čip tak, aby ho umělá inteligence dokázala programovat. Inženýr popíše práci pomocí lokálních tenzorů, výslovné komunikace a předvídatelné synchronizace. Model pak řeší, jak se má úloha rozmístit a naplánovat po celém systému. Pomocí nástroje Codex a modelu GPT-Astra tým během dvou měsíců optimalizoval na vysoký výkon tři otevřené modely, se kterými původně vůbec nepočítal. U vybraných bloků modelu GPT-OSS běžely implementace napsané umělou inteligencí 1,5 až 1,8krát rychleji než verze od lidských expertů. Jde však pouze o vybrané části, nikoli o celý model.
Kdy se Jalapeño objeví v provozu
Společnost OpenAI plánuje začít čip nasazovat ve své výpočetní infrastruktuře do konce roku. Richard Ho však upřesnil, že letos půjde o velmi malé objemy a k významnějšímu nasazení dojde až v příštím roce. Druhá generace je již ve fázi pokročilého vývoje a třetí se rýsuje. Firma zatím dokončuje kvalifikaci pro výrobu, dolaďuje software a ověřuje výkon na dalších modelech.
Konkurence pro Nvidii
Nvidia si drží téměř monopol na nejpokročilejší čipy pro umělou inteligenci, avšak vlna vlastních procesorů od velkých technologických firem tento monopol podle analytiků oslabuje. Adrien Sanchez ze společnosti Yole Group uvedl pro stanici CNBC, že Jalapeño dokazuje schopnost čipů navržených operátory datových center dorovnat nebo překonat karty Nvidie generace Blackwell v úspornosti při obsluze modelů. Nvidia podle něj sice stále zajišťuje většinu výpočetního výkonu pro umělou inteligenci a její zákazníci jsou vázáni na softwarovou platformu CUDA. Nový čip od OpenAI však míří na její marže v oblasti provozu modelů, což je část trhu, která nyní roste nejrychleji.
Analytici zároveň upozorňují na jedno slabé místo. Jalapeño porazil systémy generace Blackwell v poměru výkonu na watt téměř ve všech testovaných scénářích, avšak férovější by bylo srovnání s novější platformou Nvidie. Na tuto skutečnost upozornil i web TechCrunch, podle kterého se konkurence může do plného nasazení nového čipu stihnout posunout dál. Společnost Nvidia se k výsledkům nevyjádřila.
Pro společnost OpenAI zůstává hlavním argumentem cena. Když čip společně s firmou Broadcom představovala, mluvila u prvních vzorků o snížení nákladů na provoz modelů přibližně o polovinu v porovnání s běžnými grafickými procesory pro umělou inteligenci. Podle analytiků, s nimiž mluvila stanice CNBC, může Jalapeño tlačit na Nvidii právě v této oblasti a zmenšit závislost OpenAI na jejím hardwaru alespoň u části úloh.
