Anthropic rozšiřuje bezpečnostní opatření prostřednictvím nového programu pro hledání chyb v AI systémech
Společnost Anthropic oznámila významné rozšíření svého úsilí o testování a posílení bezpečnostních mechanismů svých modelů umělé inteligence prostřednictvím nového programu odměn za nalezení chyb (bug bounty program). Tato iniciativa je navržena s cílem proaktivně identifikovat a řešit zranitelnosti v opatřeních, která mají zabránit zneužití jejich AI systémů. Program se zaměřuje především na model safety – konkrétně na hledání nedostatků v nejnovější generaci bezpečnostních opatření Anthropicu, která dosud nebyla veřejně nasazena. Výzkumníci jsou vyzváni, aby objevovali způsoby, jakými by tato ochranná opatření mohla být obcházena, což pomůže společnosti Anthropic zlepšit jejich odolnost ještě před širším nasazením. Tato strategie odráží proaktivní přístup společnosti k zabezpečení AI, který upřednostňuje testování a vylepšování ochrany před potenciálními hrozbami.
V počáteční fázi je program přístupný pouze na pozvánku ve spolupráci s platformou HackerOne. Zkušení bezpečnostní výzkumníci v oblasti AI nebo osoby s historií v "jailbreakování" jazykových modelů se mohou přihlásit prostřednictvím žádosti o pozvání. Anthropic plánuje komunikovat vybraným účastníkům později v tomto roce. Tento omezený přístup v první fázi umožní společnosti vyladit procesy a poskytnout včasnou zpětnou vazbu k předloženým nálezům. Po této pilotní fázi plánuje Anthropic rozšířit přístup k programu. Účastníci programu se pokouší odhalit zranitelnosti nebo způsoby obcházení – běžně označované jako "jailbreaky" – v bezpečnostních funkcích modelu. Úspěšná hlášení mohou být odměněna finančními bonusy, zejména pokud odhalí významné slabiny nebo univerzální strategie jailbreaku, což jsou techniky, které konzistentně obcházejí ochrany napříč různými scénáři. Kromě formálního programu odměn Anthropic vybízí k průběžnému hlášení jakýchkoli obav týkajících se bezpečnosti modelu prostřednictvím svých kanálů pro zodpovědné zveřejňování ([email protected]).
Důležitou součástí bezpečnostního ekosystému Anthropicu jsou také tzv. Constitutional Classifiers (ústavní klasifikátory). Tyto klasifikátory představují klíčovou část obranného systému společnosti proti škodlivým výstupům, jako jsou například témata související s CBRN (chemické, biologické, radiologické, jaderné). Začátkem tohoto roku uspořádal Anthropic veřejnou výzvu k "red teamingu" zaměřenou na jailbreakování těchto ústavních klasifikátorů. Tato výzva nabízela značné odměny (10 000–20 000 dolarů) a odhalila jak silné stránky, tak oblasti vyžadující zlepšení v jejich systému ochranných bariér. Anthropic udržuje postupy rychlé reakce na nově objevené jailbreaky, včetně opravy zranitelností a eskalace složitých případů k lidskému přezkoumání. Poznatky z takového komunitně řízeného testování přímo informují o vylepšeních v zabezpečení modelu. Tento proaktivní přístup odráží závazek společnosti Anthropic k transparentnosti a neustálému zlepšování bezpečnosti AI využíváním externí odbornosti spolu s vývojem interních ochranných mechanismů.
Program odměn za nalezení chyb představuje další krok v komplexním přístupu společnosti Anthropic k zajištění bezpečnosti AI a je součástí širšího úsilí o zapojení širší komunity výzkumníků do procesu identifikace a zmírnění potenciálních rizik spojených s pokročilými AI systémy.
