Extropic, startup zaměřený na hardware pro umělou inteligenci (AI), představil nový přístup k výpočtům, který slibuje radikální snížení spotřeby energie. Tři roky zpátky vsadili na to, že energie se stane hlavním limitem pro růst AI. Teď tvrdí, že měli pravdu. Jejich řešení spočívá v hardwaru, který dokáže provozovat generativní AI s mnohem menší spotřebou než současné GPU. Konkrétně vyvinuli první škálovatelný pravděpodobnostní počítač, vyrobili obvody, které zpracovávají úlohy s nižší energií, a vytvořili nový algoritmus pro tento hardware.
Firma Extropic vidí budoucnost, kde AI pomáhá objevovat nové léky, předpovídat počasí nebo automatizovat výrobu. Ale s dnešní technologií by takový rozsah spotřeboval víc energie, než dokážeme vyrobit. Proto se zaměřili na efektivitu výpočtů. Místo zvyšování produkce energie staví na myšlence, že lepší počítač lze vytvořit v malé garáži nedaleko Bostonu.
Problém s energií v AI systémech
Dnešní AI systémy používající GPU, spotřebovávají obrovské množství energie hlavně kvůli komunikaci mezi částmi čipu. Přenášení bitů informací vyžaduje nabíjení vodičů, což stojí hodně. Kapacita vodičů a napětí pro signály se za poslední desetiletí příliš nesnížily. Extropic tvrdí, že pokračování v tomto stylu by vyžadovalo obrovské množství energie, protože datová centra už teď bojují s nedostatkem proudu. 92 % manažerů datových center vidí omezení sítě jako velkou překážku pro růst.
Extropic se rozhodl přehodnotit celou architekturu. Současné AI algoritmy vznikly pro GPU, které původně sloužily pro grafiku. Tento vývoj byl spíš evolucí než záměrným designem. Ale požadavky se změnily směrem k pravděpodobnostním výpočtům a úspoře energie. Proto Extropic vyvinul hardware přizpůsobený právě pro tyto potřeby.
Co je termodynamická jednotka pro vzorkování (TSU)
Extropic představil nový typ hardwaru nazvaný termodynamická jednotka pro vzorkování (TSU). Na rozdíl od CPU nebo GPU, které zpracovávají deterministické operace, TSU produkuje vzorky z programovatelné distribuce. Generativní AI v podstatě znamená vzorkování z komplikované pravděpodobnostní distribuce. Moderní systémy to dělají skrz maticové násobení, ale TSU to přeskakuje a přímo vzorkuje z komplexních distribucí.
TSU pracuje s modely založenými na energii (energy-based models, EBM), kde vstupy specifikují energetickou funkci a výstupy jsou vzorky z této distribuce. TSU se skládá z masivních polí vzorkovacích jader, která využívají Gibbsův algoritmus pro vzorkování. Tento algoritmus provádí jednoduché operace pro složité modely. Hardware kombinuje jednoduché pravděpodobnostní obvody do složitějších distribucí.
Architektura TSU se liší od GPU tím, že ukládá a zpracovává informace distribuovaně s komunikací jen mezi blízkými obvody. To minimalizuje energii na přenos dat. Extropic uvolnil knihovnu thrml pro simulaci tohoto hardwaru, aby vývojáři mohli testovat algoritmy.
Základní stavební kámen: Pravděpodobnostní bit (pbit)
První generace TSU je postavena na síti pravděpodobnostních bitů (pbits). Každý pbit produkuje napětí, které náhodně kolísá mezi dvěma stavy, interpretovanými jako 1 nebo 0. Pravděpodobnost stavu je programovatelná, takže pbit slouží jako zdroj vzorků z Bernoulliho distribuce. Řídícím napětím lze nastavit, aby signál trávil víc času v jednom stavu.
Jeden pbit je jen generátor náhodných čísel, ale spojení mnoha pbitů vytváří sofistikovanou TSU. Pravděpodobnost každého pbitu závisí na biasu a váženém součtu hodnot sousedních pbitů. Extropic vyvinul nový model šumu v elektronických obvodech, což umožnilo navrhnout pbit s nižší spotřebou energie na generování náhodnosti.
Tyto pbits jsou malé, energeticky úsporné a vyrobené jen z tranzistorů. Extropic je otestoval v hardwarovém prototypu XTR-0, který už testují partneři. Díky tomu lze pbits snadno integrovat do plné TSU.
Nový model: Denoising Thermodynamic Model (DTM)
Pro demonstraci hardwaru Extropic vymyslel nový generativní model nazvaný Denoising Thermodynamic Model (DTM). Inspirovaný difuzními modely, DTM generuje data postupným vytahováním z šumu přes několik fází. Na TSU by mohl DTM běžet s až 10 000x nižší spotřebou než algoritmy na GPU, jak naznačují simulace na benchmarku Fashion MNIST.
Extropic publikoval článek s výsledky, kde simulace malých částí TSU ukázaly nižší spotřebu. DTM je prvním příkladem, co lze na TSU dělat. Firma otevřela knihovnu thrml a financovala nezávislou replikaci výsledků, kterou lze spustit na GPU.
Plány Extropicu
Extropic teď přechází od výzkumu k výrobě. Hledají designéry integrovaných obvodů a inženýry pro stavbu větších systémů. Chtějí rozšířit algoritmy na úroveň dnešních základních modelů, včetně hybridních řešení s GPU. Navíc plánují partnerství pro simulace v biologii a chemii.
Zakladatelé Guillaume Verdon a Trevor McCourt věří, že jejich přístup odstraní energetická omezení pro růst AI. Verdon, bývalý zaměstnanec Google v kvantovém výpočtu, je známý pod pseudonymem Based Beff Jezos. Jejich čip Z-1 s 250 000 pbits by měl zvládat difuzní modely jako Sora nebo Midjourney. Extropic vidí inteligenci v chaotické povaze vesmíru, kde je náhodnost klíčem k pokroku.
