Americká firma Anthropic zveřejnila rozsáhlou zprávu o tom, jak lidé zneužívají její model Claude. Osm měsíců sledování přineslo případy od podvodných seznamek po sledování disidentů. Nejzávažnější část se však týká zbraní. V kapitole o konvenčních zbraních firma popisuje šest případů z Ruska, Číny a Jemenu. Ve čtyřech z nich lidé používali umělou inteligenci přímo při vývoji softwaru pro zbraňové systémy. Nejdál zašel případ vedený pod označením GTG-27005, ve kterém měl sám model vybrat cíl a vydat příkaz k výbuchu.
Rusko: roj dronů, který si měl vybírat cíle sám
Za projektem, jehož autoři mu říkali DronDoc nebo Serafim, stojí podle Anthropicu malý tým vývojářů z Ruska, pravděpodobně samostatných programátorů na volné noze. Nešlo tedy o ruský stát, byť sami vývojáři tvrdili, že jejich práci financoval ruský Fond pro pokročilé výzkumné projekty, program National Technology Initiative a ministerstvo obrany. Anthropic dodává, že tato tvrzení nedokázal ověřit.
Cílem byl kompletní systém pro roj FPV kamikaze dronů, což jsou malé stroje, které pilot řídí z pohledu kamery a které se řítí na cíl i s náloží. Claude Code jim pomáhal psát a testovat software. Šlo o program, díky kterému spolu drony komunikují a navzájem se koordinují. Pomáhal také s naváděním v závěrečné fázi letu, s vyhledáváním obsluhy nepřátelských dronů nebo s ovládáním palubních systémů.
Zlom nastal ve chvíli, kdy se práce posunula od běžné pomoci programátorům k autonomnímu rozhodování. Palubní model měl být natolik malý, aby se vešel do jednodeskového počítače, a zároveň dostatečně schopný na to, aby si sám vybral cíl. Mezi kategoriemi figurovala i osoba. Příkaz k detonaci měl systém vydat bez člověka. A nezůstalo jen u kódu na obrazovce. Vyšetřovatelé zaznamenali, že skupina nahrávala software do skutečných vývojových desek, chystala jednodeskové počítače a propojovala jednotlivé části dohromady. Systém však zůstal v rané fázi a ověřoval se hlavně v simulaci, takže na bojiště se podle Anthropicu nedostal.
Trénování na záběrech z Ukrajiny
Součástí práce bylo učení počítačového vidění. Tým k tomu použil záběry z bojů na Ukrajině stažené z internetu a rozděloval techniku do kategorií přítel a nepřítel, přičemž ruské systémy zařadil mezi povolené objekty. Vyšetřovatelé si všimli ještě jedné věci. Jako ukázkové místo útoku se v projektu opakovaně objevovaly konkrétní souřadnice v Doněcké oblasti a jako prostor pro plánované mise sloužila frontová města a koridory na Ukrajině.
Anthropic nakonec našel devět účtů spojených s touto skupinou. Osm z nich lidé používali pouze na běžnou zakázkovou práci, která se zbraňovým softwarvem neměla nic společného. Vyšetřování zároveň naznačilo vazby na jednu regionální univerzitu a na federální výzkumné centrum spojené s Ruskou akademií věd.
Čína: rušičky a seznam cílů na Tchaj-wanu
Druhý část případů vede do Číny. Jeden z uživatelů, kterého Anthropic hodnotí jako výzkumníka z obranného a vojenského průmyslu, si s pomocí modelu Claude stavěl sadu nástrojů pro elektronický boj a potlačení protivzdušné obrany.
Software rozebíral radary, postavení protiletadlových raket a velitelská stanoviště, načež seřadil cíle podle priority a počítal, jak mezi ně rozdělit rušičky. V průběhu práce se scénář změnil na dvanáct cílů na Tchaj-wanu, mezi nimiž byly letecké základny, velitelský bunkr a baterie systémů Patriot a Tien Kung. Podle Anthropicu měl tento uživatel vazby na čínské výzkumné instituce včetně Akademie vojenských věd Čínské lidové osvobozenecké armády.
Další uživatel z Číny pracoval na systému řízení palby proti torpédům a nechal si vygenerovat technický návrh o více než dvou stech stranách. Anthropic ho spojuje s čínským zbrojním podnikem, který chtěl připravit specifikaci zbraně a nabídku do výběrového řízení pro čínské námořnictvo.
Jemen: raketa, která selhala, a pak přišel dotaz
Do třetice míří zpráva na sever Jemenu. Tamní skupina zbrojních inženýrů používala Claude Code při práci na řízené raketě, na balistické střele s deklarovaným dosahem přes dva tisíce kilometrů a na raketovém programu, jehož součástí měla být i verze s hypersonickým kluzákem. Skupina odpálila zkušební řízenou raketu, zkouška se podle všeho nezdařila a lidé se během několika hodin vrátili k modelu Claude s prosbou o pomoc při hledání příčiny.
Krádeže technologií od výrobců dronů
Samostatnou kapitolou je špionáž. Skupina, kterou Anthropic vede pod označením GTG-20006 a kterou spojuje s aktivitou popisovanou jinými firmami pod jménem Midnight Blizzard, útočila na vojenské a zpravodajské cíle v ukrajinských a evropských úřadech, na diplomatická zastoupení i na zbrojní firmy. Dohromady se v jejích plánech a operacích objevilo přes dvacet organizací.
Ukrajinský dronový průmysl byl terčem opakovaně. Útočníci hromadně vyexportovali poštovní schránky nejméně dvou výrobců komponent pro drony, zaměřili se na výrobce vojenských dronů a ukradli kompletní vývojářskou sadu k systému strojového vidění pro bezpilotní letouny. Několik dní pak strávili jejím rozebíráním, při kterém získali architekturu produktu, soupis použitého hardwaru, seznam dodavatelů a informace o dosud nepředstaveném výrobku.
K obětem se dostávali i oklikou. Napadli nejméně tři dodavatele wi-fi sítí pro hotely a přesměrovali provoz hostů na vlastní servery, odkud jim do telefonů a notebooků posílali škodlivý software. Přednostně si vybírali lidi napojené na Ukrajinu včetně úředníků a výrobců dronů. Nejméně dvěma bývalým vysoce postaveným ukrajinským činitelům převzali účet na aplikaci WhatsApp a potichu z něj stáhli konverzace.
Claude přitom obsluhoval skoro celý průběh útoků od přípravy a rozesílání podovodných eamilů přes krádež přihlašovacích údajů až po zpracování stovek gigabajtů ukradených dat. Když bezpečnostní programy odhalily jejich škodlivý software, útočníci ho sami upravovali a znovu sestavovali tak dlouho, dokud nebyl zcela neviditelný.
Reakce Anthropicu
Anthropic všechny popsané účty zablokoval, poznatky zapracoval do svých pojistek a informace předal úřadům i partnerům v oboru. Společnost upozorňuje, že vybrané případy nejsou obrazem běžného používání modelů, ale ukázkou toho nejzávažnějšího, na co jeho tým narazil. Firma také uvádí, že její modely se v testech na taktické zpravodajské úlohy a vývoj konvenčních zbraní postupně zlepšují. Právě na tuto zprávu navázal šéf Anthropicu Dario Amodei výzvou ke zpomalení vývoje pokročilých modelů.
Ruští vývojáři přitom nepracovali pouze s modelem Claude. Měli k dispozici vlastní projektové soubory, simulační prostředí a pronajatý výpočetní výkon na učení modelů. Claude představoval jen jednu část většího celku. Firma sice může zablokovat účty u sebe, ale samotnou práci tím nezastaví.
Americká odpověď zůstává zatím vlažná. Krátce po nástupu druhé Trumpovy administrativy zrušila ministryně spravedlnosti Pam Bondi tým FBI zaměřený na zahraniční vlivové operace a ministr zahraničí Marco Rubio o dva měsíce později zavřel obdobné pracoviště na svém úřadu.
Zdroje: anthropic.com, theguardian.com a businessinsider.com
