Bojovníci nigerijské skupiny Boko Haram využívali chatboty od největších technologických firem, aby si nechali poradit při výrobě bomb, plánování útoků a řešení problémů přímo během bojů. Vyplývá to z výzkumu Cambridgeské univerzity, o kterém informovala televize Al Jazeera. Vědci vyzpovídali sedmadvacet bývalých členů dvou frakcí skupiny, odnože ISIL v Západní Africe známé jako ISWAP a uskupení JAS. Řada z nich popsala, že ChatGPT od OpenAI, Claude od Anthropicu, Gemini od Googlu, Grok Elona Muska, Meta AI i čínský DeepSeek pro ně byly běžným zdrojem technických a vojenských rad před útokem, během něj i po něm. Neexistuje nic, na co bychom nedostali odpověď, řekl výzkumníkům jeden z bývalých velitelů ISWAP.
Školení s notebooky a projektorem
Podle studie za povstalci do jimi ovládaného území na severovýchodě Nigérie přijížděli lidé, kteří měli vyšší členy naučit pracovat s umělou inteligencí. Vybrané bojovníky posadili do místnosti k notebookům, pustili projektor a na velkém plátně jim ukazovali, jak se chatbotů ptát a jak obcházet pojistky, které jim mají bránit odpovídat na nebezpečné dotazy. Přišli bílí chlapi a naučili nás to, vzpomínal jeden z bývalých velitelů. Svolali do místnosti ty nejdůležitější lidi a na projektoru ukázali, jak to funguje.
Školitelé podle výpovědí dodali i vybavení. Notebooky přišly s nástroji na šifrování a ochranu soukromí, členům skupiny někdo založil účty a zaplatil předplatné hned u několika služeb. Respondenti opakovaně uváděli, že za výcvikem stálo širší hnutí ISIL.
Nezůstalo přitom u toho, že by si jednotliví bojovníci občas něco vyhledali v ChatGPT. Obě frakce si podle výzkumu založily samostatné jednotky zaměřené na umělou inteligenci, obsazené lidmi s odbornými znalostmi. Byli mezi nimi inženýři, zbrojíři i výrobci výbušnin. Bývalý velitel JAS popsal skupinu třiadvaceti lidí pracujících v místnosti napájené ze solárních panelů, kteří odpovídali na dotazy, zpracovávali informace a školili velitele shromážděné kolem jednoho notebooku.
Chatbot vedle dílny
Antonia Juelichová, autorka studie z Cambridge, pro Al Jazeeru uvedla, že zhruba deset z sedmadvaceti vyzpovídaných lidí mluvilo o využití AI v souvislosti s výbušninami. Šlo třeba o snahu zvýšit ničivost náloží nebo získat trhavinu z nevybuchlé munice.
Znepokojilo ji přitom něco jiného, než že se bojovníci vůbec dostali k informacím o zbraních. Ty jsou v různých příručkách a na internetu dostupné mnoho let. Umělá inteligence ale umí reagovat na konkrétní situaci, ve které ti lidé zrovna jsou. Místo obecného návodu jí mohli popsat, co mají po ruce, doptat se a vrátit se s další otázkou, když někde uvízli. Dostali tak v podstatě odborníka dostupného ve dne v noci, který odpovídá přesně na jejich problém. Výrobci náloží prý mívali notebook položený hned vedle sebe a vraceli se k chatbotu pokaždé, když při sestavování zařízení narazili na komplikaci.
Zvlášť temný kontext dodává starší incident popsaný ve zprávě. Bojovníci se tehdy neshodli, jak naložit s nevybuchlou municí. Poté, co k ní přistoupili a začali s ní manipulovat, zařízení vybuchlo a zabilo zhruba čtyřicet lidí. Bývalí členové uvedli, že se skupina na podobné situace nově ptá právě umělé inteligence. AI jim podle výpovědí pomáhala i s úpravou běžně prodávaných dronů tak, aby unesly a shodily nálož.
„Zeptej se Groka"
Podle výpovědí se chatboti dostali skoro do každé fáze bojů. V jednom případě šel bojovník do akce s kamerou připnutou na hrudi a obraz posílal do tábora. Velitel snímky nahrál do ChatGPT, nechal si situaci vyhodnotit a poslal mužům v první linii nové pokyny.
Umělá inteligence se dostala ke slovu i ve chvíli, kdy se skupině dostaly do rukou neznámé zbraně. Když se velitelé zeptali jednoho z takzvaných specialistů na AI, jak nově získané kusy ovládat, odpověděl jim „zeptej se Groka“.
Jiná výpověď popisuje situaci, kdy vládní síly vykopaly kolem svých základen zákopy, aby zabránily útokům motorkářů. Bojovníci prý viděli ve filmech motorky, jak přeskakují překážky, a chtěli to napodobit, takže se radili s chatbotem. Podle bývalého velitele při opakovaných pokusech zahynulo osmnáct mužů, než to nakonec zvládlo osm z nich a při dalším útoku zákopy překonali.
Skupina si nechala poradit i s tím, kolik lidí do boje posílat. Jeden bývalý člen ISWAP popsal operaci, do které nasadili kolem dvou set mužů a šedesát z nich ztratili. Velitelé se prý následně ptali, jestli by menší a lépe sehrané skupiny nefungovaly lépe. A chatboty používali i po boji, když popisovali použitou taktiku a chtěli vědět, proč akce nevyšla. K rozboru prý nahrávali i záznamy z kamer.
Je to jako vyndat omezovač
Materiály, které dostala Al Jazeera exkluzivně k dispozici, ukazují, že podobné pokusy se neomezují pouze na Nigérii. Výzkumníci z organizace Tech Against Terrorism se dostali na uzavřené technické fórum příznivců ISIL, kde si uživatelé předávali rady, jak se dostat k informacím o zbraních a jak obejít bezpečnostní zábrany chatbotů. Je to jako vyndat z auta omezovač rychlosti, napsal jeden z uživatelů. Auto pořád jezdí, ale je teď užitečnější a jede mnohem rychleji, než výrobce zamýšlel.
Lucas Webber z Tech Against Terrorism uvedl, že debat o takzvaném jailbreaku, tedy o pokusech přinutit modely ignorovat vlastní pojistky, přibývá. Toto je jen špička ledovce, řekl.
Juelichová připouští, že pravidla pro umělou inteligenci se nastavují těžko, protože spousta dotazů má naprosto legitimní původ. Na vojenskou taktiku se ptají i akademici nebo novináři. Žádost o pomoc s výrobou bomby ale podle ní leží jasně mimo podmínky firem a bezpečnostní filtry by ji měly zachytit. Obcházejí zmíněná omezení, říká s tím, že s rostoucími schopnostmi modelů bude obor potřebovat přísnější omezení dohled.
Velké firmy tvrdí, že opatření proti zneužití mají. OpenAI zakazuje využívat své systémy k terorismu, násilí a vývoji zbraní, Anthropic a Meta uvádějí, že nebezpečné dotazy odhalují a blokují pomocí klasifikátorů a dalších pojistek, xAI zase zapovídá pokusy své zábrany obcházet. Al Jazeera oslovila OpenAI, Anthropic, Google, xAI, Metu i DeepSeek s žádostí o vyjádření.
Rozhovory s bývalými členy Boko Haram se přitom týkají hlavně let 2023 a 2024. Juelichová právě proto považuje zjištění za znepokojivá, protože technologie se od té doby posunula hodně daleko. Ptá se, co by stejní lidé dokázali s modely dostupnými dnes. Mám obavy, kam toto směřuje, říká.
