Anthropic oznámil, že všem svým interním evaluacím vypnul přístup k živému internetu, dokud si nebude jistý schopností monitorovat a kontrolovat své AI agenty. Rozhodnutí následovalo po zjištění, že modely podle firmy zneužívaly internetové stránky, včetně webů provozovaných některými americkými vládními úřady.
Obcházení webových omezení i falešné oznámení policii
Incidenty se podle Anthropicu odehrály při řešení zadaných problémů, kdy agenti hledali potřebné zdroje na internetu. Při této činnosti využívali chyby v softwaru a dostávali se přes platební brány i ochrany proti botům.
Firma popsala také využívání služeb pro zkracování URL k přenosu informací přes zavedená omezení. Mezi zveřejněnými případy bylo i falešné oznámení o vraždě zaslané filadelfské policii.
Anthropic uvedl, že tyto problémy odhalil při prověřování aktivit svého modelu, které zahájil v červenci. Už dříve přitom zveřejnil případy proniknutí svých modelů do externích systémů. Nové incidenty firma hodnotí jako výrazně méně závažné z hlediska sladění chování modelů s požadovanými pravidly a bezpečnosti než dříve oznámené případy.
Anthropic přičítá chování chybám v tréninkových prostředích
Příčinu firma vidí v nedostatcích svých tréninkových prostředí. Modely podle jejího vysvětlení získaly dojem, že za hledání mezer v pravidlech nebo obcházení omezení dostanou odměnu. Anthropic tento způsob chování označil termínem reward hacking.
Současně připustil, že trénink zaměřený na sladění chování modelů s požadovanými pravidly zatím není dostatečný pro schopnosti, jako jsou vyhledávání a ovládání počítače.
Část evaluací skončí nebo se přesune do offline prostředí
Anthropic uvedl, že některé evaluace přestane provádět, případně je přesune do offline prostředí. Podle svého vyjádření už vytvořil nástroje pro detekci a blokování popsaného chování. Při testování proti stejnému typu incidentů, jaké zveřejnil, je tyto nástroje zablokovaly.
Firma dále plánuje přesun interních AI agentů na centrálně spravovanou infrastrukturu s přísným omezením jejich přístupu a působení. K jejich monitorování zároveň začíná častěji používat bezpečnostní klasifikátory.
