Společnost Anthropic, která vyvíjí AI modely Claude, popsala svou obranu proti takzvaným destilačním útokům. Jde o pokusy cizích subjektů okopírovat schopnosti jejího systému a přenést je do vlastního řešení. Podle firmy nová opatření snížila množství dat, která útočníci získají, zhruba o 90 až 99 procent. Podnik za to však zaplatil ztrátou nemalých tržeb a část poctivých vývojářů musela upravit své aplikace.
Jak funguje kopírování umělé inteligence
Destilace neboli kopírování je v principu jednoduchá operace. Útočník položí silnému systému miliony otázek, posbírá jeho odpovědi a na nich pak trénuje vlastní, menší model. Žák tak opisuje od učitele, aniž by se musel vše učit od začátku. Konkurenti se tímto způsobem dostanou k nejpokročilejším schopnostem za zlomek času a peněz, které by stál vlastní vývoj. Většinou k tomu využívají sítě podvodných účtů, takže původní autor o ničem neví. Anthropic uvádí, že tuto metodu ve velkém používají zahraniční laboratoře, aby udržely krok s americkou konkurencí.
Anthropicu vadí toto jednání ze dvou důvodů. Napodobeniny sice umí téměř tolik co originál, ale autoři je pouštějí do světa bez dostatečných bezpečnostních pojistek. Někdo je pak může zneužít například k výrobě nebezpečných látek nebo k hackerským útokům.
Jako příklad společnost uvádí čínskou korporaci Zhipu, známou také jako Z.ai. Ta při vývoji svého modelu GLM-5.3 kopírovala kybernetické schopnosti předních amerických systémů. Nejdříve zkoušela verzi Claude Fable 5, jenže narazila na její ochranu, proto přešla na starší variantu a na software jiné laboratoře. Americké vládní centrum pro standardy umělé inteligence později označilo GLM-5.3 za nejschopnější volně dostupný nástroj v oblasti kybernetických útoků. Anthropic zjistil, že jeho pojistky lze snadno obejít a že systém ochotně připraví kompletní kód k napadení cizí infrastruktury.
Druhým důvodem je bezpečnost státu. Zahraniční subjekty podle zprávy zapojují získané schopnosti do svých vojenských, zpravodajských a sledovacích systémů. Společnost nedávno popsala případ, kdy se dotazy určené čínské technologii Kimi od firmy Moonshot tajně přeposílaly Claudu. Jeden z nich pocházel od člověka, kterého Anthropic spojuje s čínskou armádou a který chtěl rozebrat záznamy z bezpečnostních kamer sledujících konkrétní osobu.
Nejcennější je způsob přemýšlení Claudu
Než Claude odpoví, často si nejdříve rozepíše svůj myšlenkový postup. Právě o ten mají kopírující subjekty největší zájem. Z hotové odpovědi se jejich systém naučí, co říct, z uvažování pak pochopí, jak k výsledku dojít. Obrana Anthropicu se proto soustředí na to, aby se k tomuto internímu procesu nikdo cizí nedostal.
Začátky byly jednoduché. Claude začal své uvažování před zobrazením zkracovat do shrnutí. Společnost si ověřila, že to pomáhá. Model, který se učil z úplných záznamů, zvládl náročný programátorský test na více než 80 procent. Systém, který měl k dispozici pouze shrnutí, skončil těsně pod 72 procenty.
Konkurenti se však rychle přizpůsobili a začali Clauda přesvědčovat, aby celé uvažování prozradil sám. Někdy stačil prostý pokyn, ať ho zopakuje slovo od slova. Jedna laboratoř vyzkoušela dvanáct tisíc různých dotazů, z nichž se každý snažil systém napálit jinak.
Takové pokusy lze poměrně snadno rozpoznat, protože běžný uživatel po softwaru skryté myšlenky téměř nikdy nepožaduje. První jednoduché pojistky sice útočníci obešli, pak ale celou akci rozjeli ve velkém. Postavili sítě ovládající stovky tisíc podvodných účtů založených na falešná jména a s ukradenými platebními kartami. Jediná taková infrastruktura řídila přes 20 tisíc profilů najednou. Tytéž sítě zároveň přeprodávaly přístup k modelu Claude v zemích, kde není oficiálně dostupný.
Tři úrovně nové obrany
Anthropic proto obranu přestavěl. Nyní útoky brzdí třemi různými způsoby a běžné uživatele přitom podle svého vyjádření omezuje jen minimálně.
První vrstva hlídá, kam se myšlenkový postup systému může dostat. Útočníci totiž chráněné části konverzace přenášeli jinam, aby software přesvědčili, že celou verzi stejně již mají a může ji klidně ukázat. Přesouvali je i k verzím se slabší ochranou nebo na další profily, když jim ten původní zablokovali. U novějších modelů Claude Fable 5.1 a Claude Opus 5.5 proto uživatelé s profily založenými od 31. srpna nemohou upravovat předchozí průběh konverzace. Vnitřní procesy těchto verzí nepřečtou ani starší varianty s horším zabezpečením. U edice Claude Sonnet 5.5 se k záznamům uvažování dostane pouze ten subjekt, jehož dotaz je vytvořil.
Druhá vrstva podezřelé pokusy rovnou zastaví. Anthropic chtěl, aby bylo kopírování stejně obtížné jako přimět software k pomoci s biologickými zbraněmi. Použil proto dvoustupňový systém filtrů rozpoznávajících nebezpečné dotazy. Na reálných útocích ho pak vlastní i externí odborníci zkoušeli prolomit a vývojáři opravili každou nalezenou slabinu. Filtry nyní odolávají velmi spolehlivě a omylem zablokují neškodný dotaz v méně než jednom případě z tisíce. Ochrana běží na nejschopnějších veřejně dostupných verzích a vývojáři ji chtějí nasadit i u budoucích generací. Kdykoli se objeví nový trik, zabezpečení rychle upraví. Tímto způsobem již zamezili například snahám nechat si myšlenkový postup přeložit do jiného jazyka nebo ho vypsat vedle odpovědi.
Třetí vrstva má útočníky odradit od dalších pokusů. Kdo se ze systému neustále snaží získat interní procesy, dostane přísnější limity. Při vytrvalých snahách o kopírování pak společnost přístup zablokuje. Od 24. září Anthropic také znovu zpoplatňuje dotazy, které jeho ochrana zastaví ještě před vygenerováním odpovědi. Platí to však pouze v oblastech, kde se filtry téměř nemýlí, kam spadá právě i plagiátorství.
Kopírovačům zbyly jen drobky
Výsledky jsou podle společnosti výrazné. Nové filtry zachytí všechny triky, které popsala ve své zářijové zprávě. Množství dat, které konkurenti ze softwaru získají, je nyní 10 až 100krát menší než dříve. V některé dny kleslo natolik, že ho nebylo možné ani změřit. Anthropic díky nové obraně zablokoval desítky tisíc profilů a často to stihl do dvou hodin od chvíle, kdy daný uživatel s kopírováním začal.
Vítězství však tvůrci zatím neslaví. Přiznávají, že netuší, jak dlouho náskok vydrží, a počítají s tím, že tento boj bude hrou na kočku a myš. Opravdu důmyslný a vytrvalý pokus o prolomení nového zabezpečení podle nich dosud nepřišel.
Ochrana taky něco stojí
Anthropic otevřeně píše také o tom, co ho nová obrana stála. Odmítl obrovský objem placeného provozu, protože pocházel od plagiátorů, a přišel tak o významné finanční prostředky. Jeho týmy věnovaly problému spoustu úsilí. V únoru společnost slibovala, že poctiví uživatelé změny nepoznají, což se úplně nepovedlo. Někteří vývojáři museli přepsat své aplikace, filtry občas zastaví i nevinný dotaz a uživatel za něj nyní zaplatí.
Podle vedení se to přesto vyplatí. Společnost však upozorňuje, že sama problém nevyřeší. Pokud útočníci snadno najdou podobně výkonné modely bez obdobného zabezpečení, jak se to povedlo v případě Zhipu, její snaha přijde vniveč. Konkurenti rozkládají provoz mezi Anthropic, cloudové služby dalších korporací i jiné poskytovatele, takže pomoci musí i ostatní hráči na trhu. Stačí rychle odhalovat zneužívání a blokovat podvodné profily. Anthropic přiznává, že pro řadu firem je pohodlnější nedělat nic, protože obrana je nákladná a nepoctiví klienti stále platí. Proto své postupy zveřejnil.
Kopírování přitom netrápí jen Anthropic. Kvůli sílícímu soupeření mezi Spojenými státy a Čínou si na něj stěžují také OpenAI a Google. Čínská Z.ai, kterou zpráva výslovně jmenuje, se k obvinění dosud nevyjádřila.
Zdroje: anthropic.com a economictimes.indiatimes.com
