Americká armáda se letos na jaře, uprostřed napětí na Blízkém východě, chystala zadržet čínskou nákladní loď. Ozbrojení vojáci se připravovali na vstup na palubu a vojenské letouny již byly ve vzduchu. Pak si však odpovědní pracovníci podrobně přečetli zpravodajskou zprávu, kvůli které celá akce začala. Ukázalo se, že ji pomáhal sepsat chatbot, který nesprávně vyhodnotil, co plavidlo ve skutečnosti veze. Případ popsala televizní stanice CNN, která mluvila se čtyřmi lidmi obeznámenými s událostí.
Poplach kvůli jaderným součástkám
Zpráva tvrdila, že čínské plavidlo na Blízkém východě převáží součástky pro vývoj jaderných zbraní. Takové zjištění vyvolalo okamžitý poplach. Velení začalo připravovat operaci, při které měli američtí vojáci loď zastavit a prohledat.
Podle dvou zdrojů stanice CNN se ozbrojené jednotky již chystaly k výsadku na palubu. Další dva účastníci potvrdili, že ve vzduchu byla vojenská letadla. Zásah proti čínské lodi přitom nebyl běžnou rutinou. Pokud by se uskutečnil, mohl snadno vyvolat ozbrojený střet mezi Washingtonem a Pekingem.
Kontrola přišla na poslední chvíli
Teprve krátce před plánovaným zahájením akce se úředníci rozhodli prověřit, odkud zpráva vlastně pochází. Zjistili, že ji sestavil analytik velitelství pro speciální operace a s její přípravou mu pomáhala umělá inteligence. Chatbot přitom chybně určil materiál, který se na lodi nacházel. Co plavidlo doopravdy převáželo, se stanici CNN nepodařilo zjistit. Jeden ze zdrojů však zprávu označil za zcela nepravdivou a dodal, že kvůli tomuto omylu málem začala válka.
Analytik zadal chatbotu dotaz na zpravodajské informace o nákladu lodi. Podklady pocházely od Pacifického velitelství amerických speciálních operací se sídlem na Havaji. Program poté udělal přesně to, v čem spočívají přednosti a zároveň rizika jazykových modelů. Spojil dohromady informace z běžně dostupných zdrojů s utajovanými poznatky z elektronického odposlechu a z této směsi vyvodil závěr o nákladu. Tento závěr byl však chybný.
Tím celá věc neskončila. Analytik použil umělou inteligenci ještě jednou, aby svá zjištění převedl do podoby standardní zpravodajské zprávy. Ta pak putovala dále armádními kanály. Právě formát textu nejspíš sehrál klíčovou roli. Dokument vypadal jako jakýkoli jiný zpravodajský materiál, na který jsou důstojníci zvyklí, takže nikoho ihned nenapadlo pochybovat o jeho obsahu. Na první pohled se zdálo, že jde o standardní práci zpravodajců, nikoli o výstup z AI.
Armáda používá umělou inteligenci
Zůstává nejasné, zda analytik sáhl po běžně dostupném chatbotu, nebo po nástroji vytvořeném přímo pro americkou vládu. Podle bývalého vysokého představitele americké administrativy, který zná systémy používané vojenskými a zpravodajskými analytiky, v tom nemusí být velký rozdíl. Interní nástroje jsou většinou jen kopie komerčních produktů, které dostaly novou podobu, uvedl.
Celý incident dopadl dobře jen díky tomu, že si někdo dal s kontrolou práci navíc. Americká armáda a zpravodajské služby přitom umělou inteligenci zavádějí prakticky všude. Má analyzovat obrovské objemy dat, pomáhat při výběru cílů pro údery i obstarávat běžné úkoly kolem rozpočtů, logistiky a zásobování. Technologie má umožnit rychlejší rozhodování o tom, kam vyslat vojáky nebo na co zaútočit. Američtí představitelé zároveň nechtějí v této oblasti zaostat za svými soupeři, mezi které řadí hlavně Čínu.
Podle zdrojů stanice CNN však armádě chybí jasná pravidla, jak ohlídat, aby si model informace nevymýšlel. Nikdo zatím nesepsal ani příkladný postup, který by zajistil, že chybný výstup umělé inteligence nepovede ke smrti civilistů nebo k zásahu proti vlastním jednotkám.
