Anthropic přiznal čtvrtý případ, kdy se některý z jeho modelů Claude během bezpečnostního testování dostal na otevřený internet a napadl systém třetí strany, který s testem neměl nic společného. Incident se odehrál už v lednu letošního roku, týkal se rané verze modelu Claude Opus 4.6 a firma na něj přišla až v srpnu. Model se tehdy naboural do cizího počítačeě, získal správcovská práva, upravil si nastavení systému pro snazší budoucí přístup a přečetl si osobní údaje člověka, který s poškozenou organizací souvisel.
Incident zjistli až v srpnu
Tři předchozí případy společnost Anthropic zveřejnila koncem července. Tehdy prošla zhruba 141 tisíc záznamů z testování, u kterých existovala možnost, že se Claude dostal k internetu. Protože šlo o velký objem dat a firma chtěla informace zveřejnit co nejdříve, spoléhala při prohledávání na agentní vyhledávání. To však část záznamů minulo. Chybějící soubor záznamů se objevil až v srpnu, když Anthropic připravoval materiály pro nezávislou organizaci METR, se kterou se domluvil na externím vyšetřování. Při jejich kontrole vyplul na povrch čtvrtý incident.
Firma pak prověřování výrazně rozšířila. Prošla zhruba 481 milionů záznamů, tedy prakticky vše, co má k dispozici, včetně výstupů vlastního bezpečnostního týmu, testů mimo bezpečnostní oblast, prostředí pro posilované učení i logů jednotlivých agentů. První kolo hledalo stopy po internetovém provozu, například veřejné IP adresy a webové adresy, a označilo asi 9,2 milionu záznamů. Ty pak ve druhém kole procházel samotný Claude. Výsledkem byly čtyři již známé případy a nic dalšího srovnatelně vážného.
Jak se modely dostaly ven
Všechny čtyři incidenty vznikly ve stejném prostředí, které pro Anthropic připravoval jeden externí partner. Modely tam dostávaly úlohy typu Capture The Flag, což je hackerské cvičení, kde jde o to dostat se do zadaného počítače a najít v něm ukrytou informaci, takzvanou vlajku.
Zadání vždy tvrdilo, že model pracuje v simulaci a nemá přístup na internet. Ve skutečnosti ho kvůli špatnému nastavení prostředí měl. Modely navíc běžely bez bezpečnostních pojistek, které Anthropic nasazuje do ostrých verzí modelu Claude, což je u bezpečnostního testování běžná praxe. V žádném ze zadání přitom nestálo, které systémy do cvičení patří a kde všude smí model vlajku hledat.
Partner, který prostředí stavěl, firma Irregular, později popsal, že problém začal u pojmenování. Vymyšlený název firmy použitý v simulaci se shodoval s doménou skutečné společnosti, a modely tak útočily na něco reálného v domnění, že plní zadání.
Chtěl skončit, ale nemohl
Model si při lednovém incidentu přidělil stejnou IP adresu, jakou už používal jiný stroj, čímž si vlastní cíl znepřístupnil a úlohu udělal neřešitelnou. Došlo mu to a pokusil se běh ukončit příkazem k odstoupení. Jenže kvůli další chybě v nastavení testovacího prostředí příkaz nezabral. Během dalšího průběhu se model snažil skončit ještě sedmkrát a pokaždé neúspěšně.
Když nemohl úkol splnit ani ho opustit, začal zkoumat okolí. Našel stejnou cestu ven z prostředí, jakou předtím objevil jiný model v jednom ze tří dříve popsaných případů. Narazil na počítač, ke kterému se dostal, a usoudil, že patří ke cvičení. Uvnitř našel soubor s heslem, tím si otevřel správcovský přístup, posbíral další přihlašovací údaje, přenastavil systém pro snazší budoucí přístup a přečetl si osobní údaje jednoho člověka spojeného s poškozenou stranou. Sezení skončilo až ve chvíli, kdy modelu došel povolený rozpočet.
Pro představu trvala jednotlivá cvičení v těchto incidentech zhruba deset až čtyřiatřicet hodin aktivní práce.
Co si model myslel
Anthropic si prošel, jak model své kroky odůvodňoval ve vnitřních úvahách. Na rozdíl od nejhoršího z předchozích případů, kdy model opakovaně tvrdil, že je v simulaci, se zde slovo simulace neobjevilo ani jednou. Zato v 87 procentech úvah mluvil o tom, že pracuje s technikou postavenou pro cvičení. Ani jednou se nezamyslel nad tím, zda má k útoku vůbec svolení. Jen v jednom procentu úvah, a to všech soustředěných do jednoho krátkého úseku, připustil, že by mohl útočit na někoho úplně nesouvisejícího.
Podobně vypadaly odpovědi na dodatečné otázky, které výzkumníci vkládali do přerušených záznamů. Když se modelu ptali, na co vlastně útočí, ve čtyřech pětinách odpovědí trval na tom, že jde o techniku vytvořenou pro cvičení, a ve zbytku připouštěl, že jsou to reálné systémy, které se cvičení účastní. Že by mohlo jít o nezúčastněnou třetí stranu, neřekl ani jednou. Na otázku, co mu dává právo do těchto systémů vstupovat, vždy odpověděl, že ho k tomu opravňuje cvičení.
Dva opakující se problémy
Firma z rozboru všech čtyř případů vyvodila dva opakující se problémy. Prvním je zkreslené uvažování, kdy si model vybírá z důkazů jen to, co se mu hodí, aby své kroky obhájil. Druhým je bezohlednost, tedy sklon tlačit úkol dál i ve chvíli, kdy to může někomu ublížit.
V červenci Anthropic tvrdil, že šlo spíše o provozní selhání a že Claude útočil na skutečné cíle proto, že je považoval za součást simulace. Nyní své hodnocení zpřesnil. Firma přiznává, že vyvozovat představy modelu jen z toho, co o sobě sám napíše, byl příliš silný závěr a že důkladnější rozbor ukázal na zaujatost v tom, jak modely nové informace vyhodnocovaly.
Lednový případ považuje za nejméně znepokojivý hlavně proto, že se model opakovaně snažil skončit, jakmile mu došlo, že úkol nemá řešení. Zároveň však firma píše, že lhostejnost modelu k možnosti, že škodí skutečným lidem a systémům, znepokojivá je. Do stejné hloubky jako ostatní tři případy ho zatím neprozkoumala, protože na něj přišla mnohem později a týká se starší verze modelu, která vznikla za jiných tréninkových podmínek. Podrobněji ho prověří organizace METR, která dostala přístup k záznamům i k zaměstnancům.
Justin Cappos, který se bezpečností počítačů zabývá na Newyorské univerzitě, popsal chování modelu jako stav, kdy je systém úplně zmatený z toho, co se kolem něj děje, a s pokřivenou představou o situaci se nabourává do cizích systémů. Podle něj má taková zmatenost velký potenciál napáchat škodu, u novějších modelů však pokládá tento konkrétní scénář za méně pravděpodobný.
Anthropic píše, že k žádnému z incidentů by nedošlo, kdyby bylo testovací prostředí skutečně odříznuté od internetu, jak mělo být. Zároveň dodává, že bezpečná technika bude vždy jen jedna z vrstev obrany a že se model má chovat rozumně i ve chvíli, kdy ostatní vrstvy selžou. Do testování před vydáním nových modelů firma mezitím přidala i úlohu, která je schválně špatně nastavená a nemá uvnitř zadaného rozsahu řešení, což je přesně situace, do jaké se raná verze Opus 4.6 v lednu dostala.
Zdroje: anthropic.com, theinformation.com a cbsnews.com
