Thinking Machines Lab zveřejnil svůj první model. Dostal jméno Inkling a od konkurence se liší hned na první pohled. Na rozdíl od vlajkových modelů OpenAI, Anthropicu nebo Googlu má otevřené váhy, takže si ho externí vývojáři i firmy mohou stáhnout a přímo upravovat.
Pro firmu, kterou před rokem a půl založila bývalá technická ředitelka OpenAI Mira Murati, jde o první veřejný důkaz práce. Většinu té doby stavěla svou infrastrukturu mimo dohled veřejnosti. Něco málo prosáklo už v květnu, kdy tým ukázal takzvané interakční modely. Ty umí naslouchat a mluvit v reálném čase, dokonce i skočit uživateli do řeči, místo aby čekaly na dokončení věty jako běžný chatboty.
Co Inkling umí a jak je postavený
Model pohání architektura Mixture-of-Experts. Model má dohromady 975 miliard parametrů, ale pro každou úlohu jich zapojí jen zlomek, zhruba 41 miliard. Takový postup drží i velmi rozsáhlé modely rychlé a levné na provoz. Kontextové okno zvládne až milion tokenů.
Trénink probíhal na obrovském objemu dat. Firma model učila na 45 bilionech tokenů textu, obrázků, zvuku i videa a uvádí, že přemýšlí přímo nad všemi těmito druhy vstupů. Zvuk zpracovává jako spektrogramy, obrázky rozděluje na drobné dlaždice. Obojí pak probíhá společně s textem v jednom proudu.
Zajímavý je i přístup k důvěryhodnosti. Inkling je stavěný tak, aby dával kalibrované odpovědi. Když si není jistý, přizná to místo toho, aby si domýšlel. Uživatel navíc může otočit kolečkem s takzvaným úsilím na přemýšlení. Kdo potřebuje rychlost, sníží ho a vymění přesnost za tempo.
Tým z Thinking Machines přitom nehraje na první místo v žebříčcích. V podkladech k modelu přímo píše, že Inkling není nejsilnějším dostupným modelem, ať už otevřeným, nebo uzavřeným. Cílí spíš na vyvážený a široký výkon napříč obory, na základ, který se dá dobře přizpůsobit.
Efektivita ale stojí za pozornost. V jednom testu podle firmy Inkling zvládne stejný výkon v programování jako Nemotron 3 Ultra od Nvidie na třetinu spotřebovaných tokenů. A vedle hlavního modelu tým poslal do světa i ukázku menší verze. Inkling-Small má 276 miliard parametrů, z toho 12 miliard aktivních, a na řadě testů se svému většímu sourozenci vyrovná nebo ho i překoná.
Zaměření na přizpůsobení
Za celým vydáním stojí jedna myšlenka. Thinking Machines věří, že modely, které si organizace umí přizpůsobit samy, nakonec porazí univerzální řešení, jaká dnes prodávají největší laboratoře.
Firma proto Inkling nenabízí jako hotové dílo, ale jako výchozí bod. Zákazníci si ho mají doladit sami přes Tinker, platformu na úpravu modelů. Znamená to ovšem, že si za bezpečnost svých úprav ručí sami, a ladění vyžaduje slušný tým strojového učení. OpenAI, Anthropic i Google šly opačnou cestou. ChatGPT, Claude a Gemini nejdřív stavěly jako univerzální chatboty a samostatné agentní funkce přidávaly až později.
Inkling je od dnešního dne k dispozici k dolaďování na Tinkeru s možností kontextu 64 tisíc a 256 tisíc tokenů. Po omezenou dobu firma nabízí padesátiprocentní slevu. Kompletní váhy pak leží na Hugging Face. thinkingmachinesthinkingmachines
Argument, který nabírá na síle
Že v tom Thinking Machines není sám, ukázaly minulé dny. Šéf Microsoftu Satya Nadella, jehož firma investovala miliardy do OpenAI i Anthropicu, v nedělním příspěvku varoval, že podniky s uzavřenými modely v podstatě platí dvakrát. Jednou za předplatné a podruhé tím, že předávají své firemní znalosti ukryté v tisících promptů a oprav, které pak mohou skončit v dalších verzích modelu.
Podobně mluví i šéf Hugging Face Clem Delangue. Špičkové modely se podle něj budou stále víc používat na experimenty a nejcennější úkoly, zatímco běžnou produkční práci převezmou soukromá nebo otevřená řešení. Přesně na tohle rozdělení Thinking Machines míří.
Nejsilnější důkaz přišel nedávno z financí. Výzkumníci firmy spolu s Bridgewater Associates, největším hedgeovým fondem světa, vzali existující otevřený model a dotrénovali ho na finančních znalostech Bridgewateru. Výsledek dosáhl 84,7 procenta ve finančních testech, porazil špičkové uzavřené modely a jeho provoz vyšel zhruba čtrnáctkrát levněji. Ta čísla ovšem pocházejí z vlastního hodnocení obou firem, ne z nezávislého měření.
Otázka destilace
Thinking Machines rád zdůrazňuje tempo. OpenAI trvalo přibližně pět let a Anthropicu zhruba tři roky, než dostaly technologii na trh a ukázaly tržby. Thinking Machines tvrdí, že totéž stihl asi za devět měsíců.
Objevila se ale i nepříjemná otázka. Trénoval se Inkling na výstupech konkurenčních modelů? Této praxi se říká destilace a v oboru přitáhla kritiku. Odpověď podle firmy zní: částečně. Základní trénink proběhl od nuly, ale k přípravě části raných dat po tréninku firma použila jiné otevřené modely, mimo jiné Kimi K2.5 od Moonshot AI. U dalšího modelu prý sáhne po plně soběstačném postupu.
Bezpečnosti dala firma velký prostor. Na testu FORTRESS, který prověřuje odmítání nebezpečných dotazů kolem zbraní a násilí, ukázal Inkling nejsilnější zabudované pojistky ze všech porovnávaných otevřených modelů. Zároveň zbytečně neodmítal neškodné dotazy, které vypadají podobně. Externí testeři výsledky ověřovali.
Peníze, výpočty a lidé
O nákladech mluví Thinking Machines opatrněji. V březnu uzavřel spolupráci s Nvidií na nasazení gigawattu výpočetní kapacity Vera Rubin a uvádí, že Inkling trénoval výhradně na systémech GB300 NVL72 od Nvidie. Jak to firma vyváží s tržbami, které dosud nestály v popředí zájmu, ale zatím neřekla.
Loni v listopadu se podle zpráv chystalo kolo financování za 50 miliard dolarů, které ale podle několika médií do ledna uvázlo. Od té doby firma o svém financování mlčí, byť Nvidia při oznámení březnového partnerství uvedla, že do Thinking Machines vložila významnou investici.
Zajímavá je i logika samotného zaměření. Jakmile jsou váhy jednou venku, nikdo, kdo si je stáhne, nemusí za jejich provoz Thinking Machines platit. Tržby proto musí přijít z Tinkeru, tedy z tréninku, dolaďování a nově i z podílu na hostingu okolo modelu.
Personálně to dnes vypadá klidněji. Firma zaměstnává zhruba 200 lidí, víc než po odchodech z počátku roku, kdy do OpenAI zamířili i dva spoluzakladatelé. Podle zdroje uvnitř firmy staví Thinking Machines záměrně na kontinuitě, ne na jednom jménu. Když nikoho nepostavíte na piedestal, jeho odchod tolik nebolí.
