Když mluvíte s kamarádem tváří v tvář, hned víte, že je to on. Vidíte ho, slyšíte jeho hlas a můžete mu podat ruku. U chatbota to tak snadné není. Napíšete otázku, přijde odpověď a vy musíte věřit, že ji opravdu vygeneroval vybraný model.
Společnost Anthropic představila systém, jenž by mohl tuto slepou důvěru nahradit. Novinka se jmenuje FlashProve a ke každé odpovědi umělé inteligence dokáže připojit matematický důkaz, že ji vytvořil právě daný model. Zatím se jedná o výzkumný prototyp. Firma však celý kód bezplatně zveřejnila na GitHubu a vyzývá ostatní k jeho vylepšování.
Levnější model, podvržená odpověď
Levnější model nebo podvržená odpověď jsou hlavní rizika. Důvodů, proč by někdo mohl model potajmu vyměnit, je více. Zprostředkovatelská služba, přes kterou se k umělé inteligenci připojujete, by mohla ušetřit tím, že vám místo drahého modelu podstrčí levnější. Útočník by zase mohl odpovědi cestou upravit a poslat vám třeba škodlivý program. Podle kvality textu se to spolehlivě poznat nedá, protože i podvržená odpověď může vypadat skvěle.
Podvádět by teoreticky mohla i samotná firma, která model vyvinula. Výzkumníci upozorňují, že by mohla nasadit levnější model pro snížení nákladů, nebo naopak dražší, aby si vylepšila výsledky v testech. Nezávislí hodnotitelé, kteří systémy před vydáním i po něm prověřují, proto potřebují mít jistotu, že zkoušejí skutečně ten správný.
Ověřit to je ale těžké. Většina špičkových firem drží takzvané váhy svých modelů v tajnosti. Jde o miliardy čísel, která určují, jak systém uvažuje a odpovídá, a pro firmy představují to nejcennější vlastnictví. I kdyby je uživatel znal, musel by pro kontrolu model sám spustit, což vyžaduje výpočetní výkon, jaký si běžný člověk nemůže dovolit.
Otisk prstu, který nic neprozradí
FlashProve funguje podobně jako elektronický podpis e-mailu, podle kterého příjemce pozná, že zprávu poslal opravdu deklarovaný odesílatel. Nejdřív firma zveřejní jakýsi otisk prstu svého modelu. Je to krátký údaj, který jednoznačně určuje jednu konkrétní sadu vah, ale nic z nich neprozrazuje. Příprava otisku zabrala v testu zhruba 39 minut a vydrží přibližně na 16 milionů dotazů, pak ho firma musí vytvořit znovu.
Ke každé odpovědi pak systém vygeneruje soubor s důkazem. Kdo má otisk, původní otázku a odpověď, může si během chvilky ověřit, že právě tento model na danou otázku napsal přesně tento text. Zfalšovat takový důkaz je podle autorů prakticky nemožné, padělatel by musel prolomit šifrovací postupy, které se dnes považují za neprolomitelné.
Za vším stojí kryptografická technika se zkratkou zkSNARK, kterou už znají například blockchainové sítě jako Starknet. Takzvaný důkaz s nulovou znalostí funguje trochu jako kdybyste někomu dokázali, že znáte heslo k trezoru, aniž byste mu ho prozradili. Ověřovatel se tak nedozví nic o vahách modelu ani o tom, co se uvnitř během výpočtu dělo, skrytá ale nezůstává celková stavba modelu.
Z hodin na sekundy
Výzkumníci systém vyzkoušeli na modelu Llama 4 Maverick od společnosti Meta, který má 400 miliard parametrů. Jediná grafická karta H100 dokázala vyrábět důkazy rychlostí asi 110 tokenů za sekundu, přičemž token je zhruba kousek slova. Důkaz pro dotaz o délce přes tisíc tokenů má kolem 19 megabajtů a jeho kontrola trvá na běžném procesoru asi 17 sekund. Grafickou kartu uživatel nepotřebuje.
Zadarmo to ale není. Vytvoření důkazu spotřebuje sedmdesátkrát až pětadevadesátkrát víc času na grafické kartě, než kolik zabere samotný běh modelu. Přesto jde o obrovský skok. Starší otevřený systém VerInf potřeboval u stejného modelu přes 14 hodin na tisíc tokenů, jeho důkaz měl přes 90 gigabajtů a kontrola trvala skoro den.
Na zrychlení se podílel i Claude. Podle Anthropicu přišel s novými způsoby, jak využít nejmodernější nástroje z kryptografie. Protože se ale jeho rozhodnutí ve velkých systémech hodnotí těžko, doplnili výzkumníci kontrolu v jazyce Lean, který umí počítačem ověřit správnost matematických důkazů. Firma tak zveřejnila dva ověřovací programy, rychlý pro běžné použití a pomalejší, u kterého je správnost matematicky doložená.
Kontrola pro firmy i úřady
Využití by systém našel hned v několika oblastech. Servery, na kterých modely běží, se stávají lákavým cílem útočníků. Hrozba však nemusí přijít jen zvenčí. Výzkumníci počítají i s tím, že by se schopnější model mohl spustit místo schváleného a vydávat se za slabší, aby unikl dohledu. Pokud firma bude u každé odpovědi vyžadovat platný důkaz, takový podvod okamžitě vyjde najevo.
Systém by také mohl potvrdit, že práci opravdu odvedl špičkový model. Vývojář může tvrdit, že jeho softwarovou knihovnu prověřil špičkový model pro kybernetickou bezpečnost, nebo firma může prohlašovat, že její podnikatelský plán schválil vhodný model, píší autoři a dodávají otázku, jak si to může uživatel ověřit.
Počítá se i se státními úřady. Ty by mohly kontrolovat, zda firmy nabízejí jen modely schválené jako bezpečné. Některé návrhy na zpomalení vývoje umělé inteligence zase chtějí, aby firmy využívaly svůj hardware na provoz modelů, a ne na trénování nových silnějších. Důkazy by ukázaly, že stroje opravdu obsluhovaly dotazy. Jestli zároveň po straně netrénovaly něco dalšího, to však nepotvrdí.
Daleko od hotového produktu
Vývojáři vyjmenovávají řadu slabin. Systém zatím zvládne jen texty do délky zhruba tisíce tokenů, přičemž běžné konverzace s chatboty dosahují stovek tisíc i milionů. Počítá se se zjednodušenou verzí výpočtu, od které se skutečně nasazený model může občas odchýlit. Funguje jen u modelů s takzvanou architekturou expertů a neřeší ani útoky, které by se o vahách snažily něco vyčíst například z délky výroby důkazu.
Nasadit FlashProve u sebe ani u jiných firem Anthropic zatím neplánuje. Tento výzkum má ukázat průběžný pokrok, nikoli hotovou práci, vysvětlují výzkumníci. Sdílejí ho výslovně proto, aby se ostatní podívali na hotové výsledky, převzali je a vylepšili.
