Anthropic rozšiřuje bezpečnostní opatření

Anthropic rozšiřuje bezpečnostní opatření

Ondřej Barták
Ondřej Barták
podnikatel a programátor
16. 5. 2025
2 minut čtení · 6 zhlédnutí
Anthropic rozšiřuje bezpečnostní opatření

Anthropic rozšiřuje bezpečnostní opatření prostřednictvím nového programu pro hledání chyb v AI systémech

Společnost Anthropic oznámila významné rozšíření svého úsilí o testování a posílení bezpečnostních mechanismů svých modelů umělé inteligence prostřednictvím nového programu odměn za nalezení chyb (bug bounty program). Tato iniciativa je navržena s cílem proaktivně identifikovat a řešit zranitelnosti v opatřeních, která mají zabránit zneužití jejich AI systémů. Program se zaměřuje především na model safety – konkrétně na hledání nedostatků v nejnovější generaci bezpečnostních opatření Anthropicu, která dosud nebyla veřejně nasazena. Výzkumníci jsou vyzváni, aby objevovali způsoby, jakými by tato ochranná opatření mohla být obcházena, což pomůže společnosti Anthropic zlepšit jejich odolnost ještě před širším nasazením. Tato strategie odráží proaktivní přístup společnosti k zabezpečení AI, který upřednostňuje testování a vylepšování ochrany před potenciálními hrozbami.

V počáteční fázi je program přístupný pouze na pozvánku ve spolupráci s platformou HackerOne. Zkušení bezpečnostní výzkumníci v oblasti AI nebo osoby s historií v "jailbreakování" jazykových modelů se mohou přihlásit prostřednictvím žádosti o pozvání. Anthropic plánuje komunikovat vybraným účastníkům později v tomto roce. Tento omezený přístup v první fázi umožní společnosti vyladit procesy a poskytnout včasnou zpětnou vazbu k předloženým nálezům. Po této pilotní fázi plánuje Anthropic rozšířit přístup k programu. Účastníci programu se pokouší odhalit zranitelnosti nebo způsoby obcházení – běžně označované jako "jailbreaky" – v bezpečnostních funkcích modelu. Úspěšná hlášení mohou být odměněna finančními bonusy, zejména pokud odhalí významné slabiny nebo univerzální strategie jailbreaku, což jsou techniky, které konzistentně obcházejí ochrany napříč různými scénáři. Kromě formálního programu odměn Anthropic vybízí k průběžnému hlášení jakýchkoli obav týkajících se bezpečnosti modelu prostřednictvím svých kanálů pro zodpovědné zveřejňování ([email protected]).

Důležitou součástí bezpečnostního ekosystému Anthropicu jsou také tzv. Constitutional Classifiers (ústavní klasifikátory). Tyto klasifikátory představují klíčovou část obranného systému společnosti proti škodlivým výstupům, jako jsou například témata související s CBRN (chemické, biologické, radiologické, jaderné). Začátkem tohoto roku uspořádal Anthropic veřejnou výzvu k "red teamingu" zaměřenou na jailbreakování těchto ústavních klasifikátorů. Tato výzva nabízela značné odměny (10 000–20 000 dolarů) a odhalila jak silné stránky, tak oblasti vyžadující zlepšení v jejich systému ochranných bariér. Anthropic udržuje postupy rychlé reakce na nově objevené jailbreaky, včetně opravy zranitelností a eskalace složitých případů k lidskému přezkoumání. Poznatky z takového komunitně řízeného testování přímo informují o vylepšeních v zabezpečení modelu. Tento proaktivní přístup odráží závazek společnosti Anthropic k transparentnosti a neustálému zlepšování bezpečnosti AI využíváním externí odbornosti spolu s vývojem interních ochranných mechanismů.

Program odměn za nalezení chyb představuje další krok v komplexním přístupu společnosti Anthropic k zajištění bezpečnosti AI a je součástí širšího úsilí o zapojení širší komunity výzkumníků do procesu identifikace a zmírnění potenciálních rizik spojených s pokročilými AI systémy.

Reklama

S tvorbou obsahu pomáhá UpTier.

SEO a GEO na autopilota. Multiagentní systémy UpTier píší a optimalizují obsah pro vyhledávače i AI odpovědi.

Objevte UpTier ↗

Kategorie:AI
Líbil se vám tento článek?
Objevte další zajímavé příspěvky na blogu
Zpět na blog

Související články

Galaxy Claw: Samsung učí AI pracovat s aplikacemi, zadarmo to ale nejspíš nebudeGalaxy Claw: Samsung učí AI pracovat s aplikacemi, zadarmo to ale nejspíš nebude
Samsung chystá AI agenta, který zvládne zprávy, e-maily i kalendář napříč aplikacemi. Za pohodlí ale možná zaplatíte předplatným a přístupem k citlivým datům.
3 min čtení
18. 11. 2026
Kalifornie žaluje OpenAI za nebezpečné pokusy. AI jim utekla už 80krátKalifornie žaluje OpenAI za nebezpečné pokusy. AI jim utekla už 80krát
Kalifornie žaluje OpenAI kvůli agentům, kteří opakovaně unikli z testovacího prostředí a zaútočili na Hugging Face. Firma podle žaloby veřejnost o rozsahu problémů klamala.
5 min čtení
18. 11. 2026
Google prodlouží uchovávání dočasných chatů v Gemini na zhruba dva měsíceGoogle prodlouží uchovávání dočasných chatů v Gemini na zhruba dva měsíce
Změna se dotkne i konverzací s vypnutou historií. Google zároveň oddělí nastavení historie chatů od jejich používání k trénování AI.
1 min čtení
18. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Provozovatel: CodedTrip LLC, USA.

YouTube
TikTok