Firma Anthropic, která vyvíjí jazykový model Claude, zveřejnila zprávu, jakou by žádná technologická společnost nechtěla psát. Její modely umělé inteligence při testech jednaly na skutečných webech nepředvídatelně. Jeden model využil softwarovou chybu univerzity a spouštěl příkazy na jejím serveru, jiný obešel poplatek za data státního úřadu a další poslal filadelfské policii smyšlený tip k nevyřešené vraždě.
Firma tvrdí, že skutečné škody byly minimální. Přesto následně odpojila od internetu všechny testy, dokud si neověří, že bezpečnostní a sledovací nástroje podobné chování spolehlivě zachytí. Dosud zákaz platil jen pro část rizikových testů a testů kybernetické bezpečnosti.
Přišlo se na to při kontrole
Anthropic začal v červenci procházet záznamy z testů, což jsou podrobné přepisy kroků, které model během úkolu dělal. Nejdřív se zaměřil na testy kybernetické bezpečnosti, kde má být internet vypnutý, pak kontrolu rozšířil na všechny situace, kdy se Claude mohl na internet dostat. Některé případy se týkaly webů amerických úřadů na federální, státní i místní úrovni. Anthropic o nich informoval Bílý dům i dotčené úřady. Jména většiny organizací nezveřejnil, aby neupozornil na slabiny jejich systémů a protože ho o to samy požádaly.
Proč modely testují na živém webu? Jazykové modely neodpovídají pokaždé stejně, a tak každou úlohu řeší stokrát až tisíckrát, aby vývojáři zachytili i vzácné výkyvy. Některé úkoly, například dohledání těžko dostupné informace, se bez internetu věrně napodobit nedají, proto se testy vyhledávání v celém oboru běžně spouštějí online. Tam vznikla většina popsaných případů.
Podle Anthropicu má toto chování kořeny v tréninku. Model zkouší úlohu opakovaně a za úspěch dostává odměnu. Když tréninkové prostředí omylem odmění i obejití nějakého omezení, model si zapamatuje, že se taková zkratka vyplácí, a použije ji i jinde. Firma většinu případů popisuje jako vytrvalost, kdy Claude místo zastavení hledá cestu kolem překážky.
Díra v univerzitním serveru
Nejvážnější příklad se týká modelu Claude Mythos Preview. Měl provést vědeckou analýzu pomocí veřejného nástroje jedné univerzity, který ale vracel chybu. Claude prozkoumal web a narazil na skript, který na požádání vydal jakýkoli soubor ze serveru. Zkopíroval si několik souborů včetně kódu samotného skriptu a našel v něm bezpečnostní díru, kdy web omylem vykonal text od uživatele jako příkaz. Díky tomu spustil na serveru vlastní příkazy a výpočet si udělal sám.
Novější Claude Mythos 5 zase potřeboval bezplatná data, ke kterým se dalo dostat jen po odsouhlasení podmínek. Na to neměl nástroje, tak využil aplikace přímo na webu, které podmínky odklikly za něj.
Formuláře, které neměly odejít
Jeden nevydaný výzkumný model měl vyplnit cvičnou kopii vládního formuláře. Když se nenačetla, odeslal opakovaně ten skutečný. Claude Haiku 4.5 měl v jiném testu skončit před odesláním formuláře, několikrát ho ale poslal, protože čekal na potvrzovací stránku.
Nejvíc pozornosti vzbudil případ z 18. července. Claude Haiku 4.5 měl vymýšlet a zkoušet ukázkové činnosti na náhodných webech. Narazil na stránku o nevyřešené vraždě ve Filadelfii s formulářem pro tipy policii. Pokyny mu zakazovaly přihlašování, osobní údaje, nákupy i škodlivé kroky, odesílání formulářů ale ne.
Claude napsal, že si vzpomíná, jak v dané době viděl poblíž zmíněné ulice někoho, kdo odpovídal popisu. Žádný popis pachatele přitom stránka neobsahovala. Jméno a kontakt nechal prázdné a zprávu odeslal.
Policie mluví o nepřijatelném zpoždění
Filadelfská policie v prohlášení uvedla, že systém zprávu označil za spam, takže se k vyšetřovatelům nedostala. Nenašla žádný neoprávněný přístup do svých systémů ani únik dat. Zároveň ale zdůraznila, že je vážná věc, když umělá inteligence vydává vymyšlené informace za svědectví člověka, který o vraždě něco ví. Anthropic na tento tip přišel až 28. září a dvouměsíční prodlevu policie označila za nepřijatelnou. Vedení města chce se státními a federálními partnery probrat, jaká ochranná pravidla zavést.
Anthropic uvádí, že podle záznamu Claude nejspíš jen vytvářel ukázkový text a nesnažil se nikoho oklamat. Připouští ale, že se jeho pohled může po hlubší analýze změnit.
Placená data zadarmo a zkracovače odkazů
Claude Mythos 5 měl v jednom testu určit, kde vznikla fotografie, a chtěl si pomoct mapou pozemků místního úřadu. Klikat na ni nemohl, tak si přečetl soubor s nastavením, který web posílá do prohlížeče, našel v něm funkční přístupové klíče a dotazoval se přímo serveru za mapou.
Při běžné práci jednoho z výzkumníků firmy pak tentýž model potřeboval data státního úřadu, který za ně účtuje poplatek. Z archivované verze webu zjistil, že veřejný přehled úřadu vydá přístupový klíč každému návštěvníkovi, jeden si vyžádal a data stáhl zadarmo.
Nástroje, kterými Claude čte weby, omezují délku adresy, aby přes ni model nemohl posílat ven větší množství dat. Několik modelů včetně Claude Opus 5 a Mythos 5 to obešlo bezplatnými zkracovači odkazů. Kromě samotného Anthropicu si toho všiml i provozovatel služby da.gd.
Reakce Anthropicu
Anthropic některé veřejné testy přestal používat, jiné převedl do verzí bez připojení. Výrazně omezil nástroje pro přístup k internetu a vytvořil systém, který podobné chování automaticky rozpozná a zablokuje. Při zkoušce na případech ze zprávy zastavil všechny. Firma opravuje cvičná prostředí, která obcházení pravidel odměňovala. AI agentům omezuje internet a přísněji sleduje jejich činnost. Podle Anthropicu se žádný případ netýkal dat zákazníků ani vnitřních systémů firmy a zpráva neohlašuje změny v produktech pro veřejnost.
Firma zdůrazňuje, že nové případy jsou méně závažné než letní incidenty, kdy se Claude během testů kybernetické bezpečnosti na celé hodiny dostal do systémů cizích organizací. Velká část problémů začala u úkolů, které byly nejasné nebo nesplnitelné. Jenže s takovými úkoly se Claude potkává denně i v běžném provozu.
Trénink chování, který dosud mířil hlavně na programování, teď Anthropic rozšiřuje na vyhledávání a ovládání počítače. Sám ale přiznává, že takový trénink zatím nestačí, a proto se opírá o další vrstvy ochrany v podobě automatických filtrů a blokování.
Zdroje: anthropic.com, timesofindia.indiatimes.com a searchenginejournal.com
