Skupina kyberzločinců si najala umělou inteligenci jako parťáka. Naprogramovala ji, aby prohledala kód jedné populární webové aplikace a našla skulinu, o které nikdo nevěděl. A uspěla. Začátkem května to Google celé odhalil dřív, než útočníci stačili zmáčknout spoušť. „Je tady. Éra zranitelností a jejich zneužívání pomocí AI už nastala." okomentoval celou událost John Hultquist, hlavní analytik zpravodajské skupiny Googlu pro kybernetické hrozby (GTIG).
Co tedy stalo?
Google sledoval skupinu výrazných útočníků, kteří plánovali rozsáhlou operaci. Našli totiž chybu v jednom rozšířeném open-source nástroji pro správu serverů. Konkrétní název nástroje Google nezveřejnil. Zranitelnost jim ale umožňovala obejít dvoufaktorové ověření a získat přístup k systémům, aniž by je kdokoliv zastavil.
Šlo o takzvaný zero-day exploit, útok využívající bezpečnostní díru, o které vývojáři ještě nevědí. Fráze „zero-day" označuje, že na opravu bylo nula dní. Prostě proto, že nikdo nevěděl, že se opravovat vůbec něco má.
Google zasáhl včas. Upozornil postiženou firmu, informoval orgány činné v trestním řízení a operaci narušil dřív, než způsobila jakoukoli škodu. Teprve při zpětném sledování stop útočníků analytici zjistili, co je znepokojilo nejvíc: kód exploitu vykazoval jasné znaky toho, že ho nepsali lidé, ale jazykový model.
Jak poznali, že kód psal chatbot?
Celé šetření detailně popisuje technická zpráva GTIG. Skript napsaný v jazyce Python obsahoval spoustu vysvětlujících komentářů přímo v kódu, včetně takzvaného "hallucinated" CVSS skóre závažnosti zranitelnosti, které si model jednoduše vymyslel. Celá struktura kódu odpovídala učebnicovému stylu výstupu velkého jazykového modelu: přehledné menu nápovědy, čistě organizované třídy, pečlivá pojmenování proměnných.
Drobnost, která by u lidského programátora nevznikla, tady byla na každém řádku.
Google má vysokou míru jistoty, že útočníci AI model skutečně použili. Který konkrétně? To se nepodařilo určit, ale analytici vyloučili Gemini od Googlu i Anthropic Claude Mythos. Neexistují ani důkazy o napojení na nepřátelské státy, přestože podobné techniky zkoušejí skupiny spojené s Čínou a Severní Koreou.
Proč je tento útok tak důležitý? Protože nešlo o obvyklou chybu v implementaci, jako je přetečení paměti nebo špatně ošetřené vstupy. Šlo o sémantickou logickou chybu na vysoké úrovni, konkrétně o to, že vývojář v kódu natvrdo zadrátoval výjimku z pravidla, která fakticky rozbila celé zabezpečení. Tradiční nástroje pro testování bezpečnosti tuhle chybu neodhalí. Nejpokročilejší AI modely ale dokážou číst záměr vývojáře a rozpoznat, kde se logika rozbíjí, i když kód vypadá funkčně.
Hackeři jsou rychlejší, a AI je ještě zrychluje
Hultquist vysvětluje, proč právě kyberzločinci z AI těží nejvíc. Státní zpravodajci pracují pomalu a opatrně. Ransomwarové gangy naopak závodí s časem: potřebují se dostat k datům, zašifrovat je a zmizet dřív, než je firma odstaví. AI jim v tomhle závodě dává obrovský náskok. „Je to závod mezi vámi a jimi," řekl Hultquist. „Musíte je zastavit dřív, než se dostanou k datům, která jim poslouží k vydírání nebo ke spuštění ransomwaru. AI je v tomhle obrovská výhoda, protože se mohou pohybovat mnohem rychleji."
A tohle není jediný způsob, jak útočníci AI zneužívají. GTIG ve své zprávě popisuje mnohem větší obraz hrozeb.
Google odhalil i další věci
Zpráva GTIG zachycuje posun od experimentování k průmyslovému nasazení AI v útočných operacích. Analytici identifikovali několik oblastí najednou.
Vývoj malwaru a obfuskace. Rusky orientované skupiny vytvořily malware CANFAIL a LONGSTREAM, v jejichž kódu se opakují velké bloky funkčně nečinného kódu. Ten byl záměrně vygenerován AI, aby zmátl bezpečnostní skeny. Čínská skupina APT27 zase použila AI k vývoji aplikace pro správu anonymizační sítě, přes kterou vedou útoky.
Autonomní malware PROMPTSPY. Tyto zadní dvířka pro android jsou ještě více pokročilá. Nejenže komunikuje s Gemini API, ale posílá mu aktuální stav uživatelského rozhraní napadeného telefonu a nechává AI rozhodnout, co má udělat dál. Zmáčknout tlačítko, přejet prstem, zjistit PIN. Pokud se uživatel pokusí aplikaci odinstalovat, malware přes neviditelnou vrstvu překryje tlačítko "Odinstalovat" a pohltí každý dotyk na něj, takže telefon jakoby nereaguje.
Průzkum a phishing na míru. Útočníci se ptají AI, jak vypadá organizační struktura konkrétní firmy, kdo má přístup k financím, kdo spravuje IT. Jedna skupina dokonce požádala model, aby z fotek poznal, jaký počítač používá konkrétní člověk, a pomohl tak připravit cílený útok na toto zařízení.
Průmyslové zneužívání AI služeb. Skupiny napojené na Čínu postavily automatizované linky na registraci prémiových účtů u poskytovatelů AI. Registrace, obejití CAPTCHA, ověření telefonním číslem, potvrzení a zrušení. Pak znovu. Ve velkém měřítku. Jen aby měly nepřetržitý přístup k výkonným modelům bez toho, aby je kdokoliv sledoval.
Mythos od Anthropicu a nervózní Washington
Tahle zpráva a varování v jednom, přichází v okamžiku, kdy kybernetická komunita stále vstřebává zprávu o modelu Mythos od Anthropicu. Ten byl před měsícem popsán jako natolik schopný v oblasti bezpečnosti a hackingu, že ho firma odmítla zveřejnit a zpřístupnila ho jen malé skupině prověřených organizací.
Anthropic po tom spustil iniciativu projekt Glasswing, do které přizval Amazon, Apple, Google, Microsoft i JPMorgan Chase. Cílem je ochránit kritický software před dopady, které by Mythos mohl způsobit. Vztahy s washingtonskou administrativou jsou ale komplikované. Firma se dostala do veřejného a právního střetu s Pentagonem i přímo s Trumpem kvůli vojenskému nasazení svých technologií.
OpenAI zatím tento týden oznámil speciální verzi ChatGPT pro oblast kybernetické bezpečnosti, dostupnou výhradně pro „obránce odpovědné za zabezpečení kritické infrastruktury."
Trumpovo ministerstvo obchodu podepsalo dohody s Googlem, Microsoftem a Muskou firmou xAI o prověřování jejich nejmocnějších modelů před veřejným vydáním. Oznámení ale záhy zmizelo z webu ministerstva. Dean Ball, dřívější poradce Bílého domu pro technologickou politiku a spoluautor Trumpovy koncepce pro AI, celou situaci okomentoval slovy: „Nerad vidím pravidla a předpisy. Raději bych, aby věci nebyly regulovány. Ale myslím, že v tomhle případě to potřebujeme."
Bilion řádků kódu, na kterém stojí světová digitální infrastruktura, nemůže být opraven přes noc. A dokud se to nestane, útočníci s AI po boku najdou díry dřív, než je kdo zaplátuje.
Zdroje: finance.yahoo.com a economictimes.indiatimes.com
