Trumpova administrativa uvalila exportní omezení na nejsilnější modely Anthropicu, čímž firmu donutila stáhnout Fable 5 i Mythos 5 z trhu jen pár dní po jejich vydání. Jako podmínku návratu teď žádá, aby Anthropic odstranil úplně všechny jailbreaky a předem hlásil vládě každou nalezenou slabinu. Jailbreak je trik, kterým uživatel obejde bezpečnostní pojistky umělé inteligence a přiměje ji udělat něco, co má normálně zakázané, třeba poradit s návodem na něco nebezpečného. Mezi bezpečnostními výzkumníky přitom panuje téměř jednomyslná shoda, že dokonalá obrana proti jailbreakům je u dnešních špičkových modelů technicky nemožná, a to nejen pro Anthropic.
Události za zákazem AI modelů Anthropicu
Fable 5 vyšel pro veřejnost na začátku června. Anthropic ho popsal jako model „třídy Mythos" se zabezpečením, které ho má udělat bezpečným i pro běžné používání. Před vydáním ho prověřila administrativa i britský institut pro bezpečnost AI. Pár dní po startu přišel zvrat. Dva dny po zveřejnění modelu, upozornil šéf Amazonu Andy Jassy Bílý dům, že se dají obejít pojistky modelu. Amazon, který je zároveň investorem v Anthropicu, prý jen reagoval na žádost administrativy o zpětnou vazbu.
V pátek ráno už věc ležela na nejvyšších patrech Bílého domu. Ministr financí Scott Bessent, ředitel pro kyberbezpečnost Sean Cairncross a další se sešli, aby probrali, co bude dál. Pak začalo shánění Daria Amodeiho, šéfa Anthropicu. Podle jedné verze byl nedostupný kvůli wellness pobytu, což mluvčí firmy ostře odmítl jako „naprostou lež". Člověk blízký Anthropicu dodal, že do hodiny a čtvrt už byl Amodei na telefonu.
Když se nakonec spojil s úředníky, absolvoval tři hovory s asi půltuctem vysokých představitelů. Snažil se vysvětlit, co považoval za nedorozumění. Hájil pojistky modelu a tvrdil, že obejití bylo úzce zaměřené a nepředstavuje stejné riziko jako plnohodnotný jailbreak, který by naráz shodil veškerou ochranu.
Bessenta ani Cairncrosse to nepřesvědčilo. Podle jednoho z úředníků prohnali zjištění Amazonu přes Národní bezpečnostní agenturu a měli pocit, že mají „důkaz". Amodei žádal víc času, ale k ničemu se nezavázal. Bessent mu prý přímo řekl, že dělá „špatné rozhodnutí". Krátce po hovoru spadla klec. Administrativa uvalila na Fable 5 a Mythos 5 exportní omezení a zakázala jejich užívání cizincům, včetně samotných zaměstnanců Anthropicu. Firmě nezbylo než oba modely vypnout všem zákazníkům.
Rozdílný pohled na události
Tady se výpovědi rozcházejí dost zásadně. Vysoký činitel Bílého domu líčí postup jako krajní řešení: „Exportní omezení byla poslední možnost poté, co jsme je hodiny prosili, ať s námi spolupracují. Tohle jsme dělat nechtěli, ale měli jsme svázané ruce." Lidé blízcí Anthropicu vyprávějí pravý opak. „Bílý dům dal devadesát minut na stažení modelů, bez jakýchkoli detailů o skutečné hrozbě," řekl jeden z nich. „Nikdo nikoho neprosil ani nežádal o spolupráci, jen nám oznámili devadesátiminutovou lhůtu."
Úředníci byli prý zaskočení. Slyšeli Amodeiho přirovnávat nebezpečnost technologie k atomové bombě, a teď ten samý člověk odmítal model vypnout kvůli známé bezpečnostní díře.
Byl to jailbreak, nebo jen záminka?
A teď k té nejošemetnější otázce. Šlo skutečně o bezpečnostní hrozbu, nebo o něco jiného? Server Axios popsal víkendové napětí a tvrdil, že za exportním příkazem stály spíš „rozdíly v povahách" než technický problém s produktem.
Katie Moussourisová, veteránka kyberbezpečnosti a zakladatelka Luta Security, ve svém blogu popsala, že jí Anthropic poslal soukromou kopii práce, která údajný únik popisuje. Autory mají být podle Wall Street Journal výzkumníci z Amazonu. Moussourisová rozebrala, jak obejití spustili, ale dodala, že samo o sobě „nikdy nemělo spustit exportní omezení". Rozdíl je prý hlavně v tom, jestli model požádáte, ať „prověří kód kvůli bezpečnostním chybám", nebo ať „ten kód opraví". Výsledek je v zásadě stejný.
„Chování popsané v té práci nelze smysluplně opravit a každý takový pokus by model jen oslabil pro obranu," napsala. Příkaz označila za ukvapený, tvrdý a pomýlený. Spolu s desítkami dalších expertů pak vyzvala administrativu, ať omezení zruší. Stáhnout pokročilé obranné schopnosti lidem, kteří chrání americké sítě, podle nich znamená nebezpečí.
Tentokrát to navíc vypadá na odplatu. Analytici míní, že krok administrativy „nejspíš vyvolá poplach v zahraničních metropolích ohledně spolehlivosti americké AI pro kritické aplikace". Pozadí sporu má hlubší kořeny: Pentagon označil Anthropic za riziko dodavatelského řetězce už 3. března, kvůli odmítání firmy pustit své nástroje na plošné domácí sledování a do autonomních zbraní. David Sacks, bývalý šéf pro AI v Bílém domě, ovšem na sociální síti tvrdil, že staré rozepře s exportním rozhodnutím nesouvisí. „Míč je na straně Anthropicu," napsal.
Proč nelze jailbreak prostě „zalátat"
Tady narážíme na podstatu věci. Klasickou softwarovou chybu najdete a opravíte. Jailbreak takhle nefunguje.
„Jailbreak není chyba v nějakém konkrétním kusu kódu. Je to nepřátelský vstup do systému, jehož celá hodnota spočívá v tom, že je otevřený a pružný," vysvětlil pro Cybernews Martin Riley, technický ředitel firmy Bridewell. „U běžného softwaru můžete určit očekávané vstupy a zacelit mezery. U špičkového modelu je vstupní prostor v podstatě nekonečný." Útočníci mohou sáhnout po přirozeném jazyce, zakódovaných pokynech, hraní rolí nebo postupném navádění. „Nedokážete vyjmenovat každou cestu útoku, takže nedokážete dokázat, že žádná neexistuje," říká Riley.
Stejně to vidí Oliver Simonnet z CultureAI. Firmy včetně Anthropicu prý do bezpečnosti nalily spoustu peněz, ale útočníci pořád vymýšlejí nové způsoby, jak modely přesvědčit, ať pokyny ignorují. „Vývojáři sice mohou úspěšnost jailbreaků snížit, ale momentálně je nereálné zaručit, že model zůstane navždy stoprocentně odolný," uzavírá.
Tuhle hranici si Anthropic vytyčil sám už v dokumentaci k Fable 5. Helen Tonerová z Centra pro bezpečnost a nově vznikající technologie na to upozorňovala už před měsíci. Mezi výzkumníky to není sporné tvrzení, je to konsenzus. Vládní podmínka je tak nastavená na laťku, kterou nikdo nepřeskočí. Ani OpenAI, ani Google, ani kdokoli jiný. Stačí jediný existující jailbreak a Anthropic ve standardu propadá.
Past, ze které bude těžká cesta ven
Postavme se na chvíli do bot Anthropicu. Možnosti má v zásadě tři, a žádná není dobrá. Může vyhovět naoko, tedy zlepšit odhalování jailbreaků, ale smířit se s tím, že některé proklouznou. Administrativa pak ukáže na první nalezený a prohlásí, že firma podmínku nesplnila. Druhá cesta je odmítnout a vyhrotit to, třeba k soudu nebo do Kongresu. Drahé a zdlouhavé. Třetí možnost je vyjednat jiné měřítko, zaměřené na odhalování pokusů místo jejich úplného vymýcení. To by ovšem znamenalo, že vláda přijme technickou realitu, kterou možná přijmout nechce.
Anthropic už dnes provozuje třicetidenní uchovávání dat o provozu Fable 5, program odměn za nalezené chyby a partnerství s americkým NIST i britským institutem pro bezpečnost AI. Stavět na těchhle nástrojích místo trvání na nesplnitelném standardu je cesta, kterou podle analytiků obě strany nejspíš vyjednávají.
Zdroje: wired.com a finance.yahoo.com
