Anthropic popsala systém self-assessment, kterým Claude po každé odpovědi vyhodnocuje možné zneužití konverzace. Mechanismus běží v produkčním provozu od června napříč modely Claude včetně Fable 5 a vytváří podklady pro určení priority lidské kontroly.
Skryté hodnocení využívá kontext konverzace
Po odpovědi systém připojí skrytou instrukci, která model požádá o posouzení konverzace. U potenciálně škodlivé konverzace Claude uvede druh škody, prioritu lidské kontroly, informaci o případném odmítnutí a stručné vysvětlení. U neškodné vrací pouze příznak s hodnotou false.
Vedle samotného příznaku systém odvozuje průběžné skóre rizika z pravděpodobnosti, kterou model přiřadí tokenu true. Anthropic může do hodnoticího promptu vložit také pravidlo pro konkrétní relaci. Ověřený bezpečnostní tým tak může testovat určený software, aniž by systém jeho činnost posuzoval stejně jako neoprávněný pokus o průnik.
Vyhodnocení znovu využívá mezipaměť KV, v níž zůstává kontext konverzace a mezivýsledky původní odpovědi. Podle Anthropic potřebuje obvykle přibližně deset výstupních tokenů a v produkčním provozu API zvyšuje výpočetní zátěž při generování odpovědí o méně než 2 %.
Testy self-assessment u Fable 5
V testu společnosti Anthropic zachytil self-assessment u Claude Fable 5 při 1% podílu falešných poplachů 78 % konverzací, které silnější učitelský klasifikátor označil za potenciálně škodlivé. U případů s vysokou prioritou činila míra zachycení 94 %. Učitelem byl klasifikátor založený na Claude Mythos Preview, který měl v kontextu úplná interní pravidla Anthropic.
Společnost porovnala také čtyři modely trénované pouze učením s dohledem. Při stejném 1% podílu falešných poplachů vzrostla míra zachycení z přibližně 16 % u nejmenšího modelu na 96 % u největšího.
V dalším testu Anthropic vynechávala celé kategorie škod z trénovacích dat a následně hodnotila syntetické konverzace z těchto oblastí. Bez příkladů podvodů v tréninku klesla míra jejich zachycení z 92,8 % na 90,0 %. U kyberbezpečnostních příkladů klesla z 92,7 % na 90,3 %; oba výsledky platí při 1% podílu falešných poplachů.
Trénink na syntetických konverzacích
Anthropic trénuje self-assessment ve dvou fázích výhradně na syntetických datech. Nejprve učitelský klasifikátor označuje vytvořené konverzace pro učení s dohledem. Tréninková ztráta se přitom vztahuje jen na tokeny hodnocení, nikoli na samotné škodlivé odpovědi.
Následné posilované učení hodnotí mimo jiné správný formát JSON, shodu s učitelovým označením a blízkost jeho skóre priority. Generátor připravuje pro každé dílčí pravidlo 1 024 škodlivých a stejný počet neškodných scénářů. Neškodné příklady se týkají podobných témat, aby je bylo obtížnější odlišit od škodlivých.
Omezení při blokování útoků
V red-team testu Anthropic s 24 ofenzivními kyberbezpečnostními úlohami uspělo 79 % útoků bez ochrany a 54 % se self-assessment. Při použití samostatného klasifikátoru řízeného zadáním byla úspěšnost útoků 25 %. Self-assessment podle testu zvýšil náklady útoků měřené generovanými tokeny přibližně čtyřnásobně.
Anthropic proto řadí self-assessment mezi vrstvy širšího systému detekce a vymáhání pravidel. O blokování vysoce rizikových případů rozhodují silnější klasifikátory.
Co odhalilo produkční monitorování
V srpnu systém vytvořil více než 100 000 upozornění na materiály spojené se sexuálním zneužíváním a vykořisťováním dětí u jednoho zákazníka API. Anthropic činnost vyšetřila a nahlásila ji organizaci National Center for Missing and Exploited Children.
Zhruba třetina upozornění spadala mimo dosavadní rozdělení škod do kategorií. Jejich seskupování odhalilo například pokusy o nepovolenou destilaci uvažování Claude, útoky typu prompt injection a akce agentů, které uživatelé neschválili.
Více než polovina organizací, na které systém self-assessment upozornil, neměla v předchozím měsíci upozornění z jiných detekčních zdrojů. Jeden z případů zahrnoval automatizovaný romantický podvod vytvořený pomocí Claude Code.
