Bezpečnostní tým Microsoftu zveřejnil znepokojivou zprávu. Útočníci po celém světě přestali vnímat umělou inteligenci jako technologickou novinku a začali ji používat jako každodenní pracovní nástroj. Stejně jako firmy nasazují AI pro zvýšení produktivity, kyberzločinci ji zapojují do svých operací, aby útočili rychleji, ve větším měřítku a s menší šancí na odhalení. A bohužel jim to funguje.
Severokorejci učebnicovým příkladem
Microsoft Threat Intelligence sleduje skupiny označované jako Jasper Sleet a Coral Sleet (dříve Storm-1877). Jde o severokorejské aktéry, kteří se specializují na infiltraci firem prostřednictvím falešných IT pracovníků. Tito lidé se ucházejí o skutečná zaměstnání, projdou pohovory, nastoupí do práce a pak zneužívají přístupy, které jim firma svěří. Celý tento podvod stojí a padá na přesvědčivosti falešných identit. A právě tady nastupuje AI.
Jasper Sleet používá generativní AI k vytváření kulturně věrohodných jmen, e-mailových formátů i celých osobnostních profilů přizpůsobených konkrétním pracovním pozicím. Útočníci zadávají modelu dotazy jako „vytvoř seznam 100 řeckých jmen" nebo „navrhni formáty e-mailových adres pro jméno Jane Doe". Výsledky pak skládají do přesvědčivých digitálních identit.
Aplikace Faceswap jim pomáhá vkládat tváře severokorejských pracovníků do ukradených dokladů totožnosti. Stejná AI-generovaná fotografie se pak s drobnými úpravami objevuje na životopisech různých „kandidátů". Při videopohovorech používají software pro změnu hlasu, aby zamaskovali přízvuk a vydávali se za západní uchazeče.
AI v každé části útoku
Útočníci nezapojují AI jen do jednoho kroku. Nasazují ji napříč celým průběhem útoku, od prvního průzkumu až po finální zneužití dat.
Průzkum a příprava: Velké jazykové modely slouží k analýze veřejně dostupných zranitelností. Microsoft například zaznamenal, že severokorejská skupina Emerald Sleet využívala AI k prozkoumání zranitelnosti CVE-2022-30190 v nástroji Microsoft Support Diagnostic Tool. AI zkrátí hodiny manuálního výzkumu na minuty.
Phishing na míru: Útočníci generují spear-phishingové e-maily v libovolném jazyce s rodilou plynulostí. AI eliminuje gramatické chyby, přizpůsobuje tón komunikace konkrétní firmě a dynamicky upravuje obsah zprávy podle informací o cíli. Výsledkem jsou zprávy, které vypadají jako interní firemní komunikace.
Vývoj malwaru: Coral Sleet využívá AI nástroje pro generování, ladění a přepisování škodlivého kódu. Microsoft dokonce identifikoval charakteristické znaky AI-asistovaného kódu přímo v zachycených vzorcích malwaru. Konkrétně šlo o emoji jako vizuální značky (zelené fajfky ✅ pro úspěšné požadavky, červené křížky ❌ pro chyby) a hovorové komentáře v kódu popisující logiku vývojáře. Takový kód vypadá, jako by ho psal člověk u kávy, ne profesionální hacker.
Infrastruktura: Útočníci pomocí AI navrhují, konfigurují a ladí skrytou infrastrukturu pro řízení a kontrolu (C2). Coral Sleet takto rychle vytváří přesvědčivé webové stránky falešných firem, testuje škodlivý kód a obnovuje kampaně dříve, než je obránci stihnou zablokovat.
Jakmile útočníci získají přístup do systému, AI jim pomáhá zorientovat se v neznámém prostředí. Funguje jako pohotový výzkumný asistent, který analyzuje konfigurační soubory, adresářové struktury a logy, aby útočníkům pomohl rychle pochopit, kde se nacházejí a co mají k dispozici.
Laterální pohyb se zrychluje díky analýze vztahů důvěry mezi systémy. AI pomáhá identifikovat nejcennější cíle a nejschůdnější cesty k nim. Při eskalaci oprávnění interpretuje chybové zprávy z neúspěšných pokusů a navrhuje alternativní přístupy.
Po získání dat znovu nastupuje AI. Krádeži dat předchází analýza, která data jsou nejcennější a jak je přenést s co nejmenším rizikem odhalení. A nakonec, při vydírání, AI pomáhá formulovat výkupné zprávy přizpůsobené konkrétní oběti a dokonce spravuje komunikaci s obětí prostřednictvím automatizovaných chatbotů.
Nové hrozby na obzoru
Microsoft varuje před dvěma nastupujícími trendy, které zatím nejsou rozšířené, ale jejich potenciál je značný.
Agentní AI funguje jinak než běžné jazykové modely. Místo jednorázových odpovědí plánuje kroky, volá nástroje, vyhodnocuje výsledky a přizpůsobuje chování bez průběžného lidského dohledu. Pro útočníky by to znamenalo poloautomatické kampaně schopné samostatně testovat infrastrukturu, udržovat perzistenci nebo sledovat zpravodajské zdroje pro nové příležitosti. Microsoft zatím nezaznamenal nasazení v plném měřítku, ale první pokusné případy už probíhají.
Druhý trend je ještě zákeřnější. Jde o otrávení paměti AI asistentů. Microsoft odhalil, že některé organizace záměrně vkládají do webového obsahu instrukce, které ovlivňují, jak si AI asistenti zapamatují a prioritizují určité zdroje nebo produkty. Zatím jde převážně o marketingové zneužití, ale stejná technika by mohla sloužit k manipulaci s rozhodovacími procesy řízenými AI nebo k dezinformačním operacím.
Praktická doporučení k obraně
Microsoft doporučuje přistupovat k hrozbám ze strany falešných zaměstnanců jako k vnitřní hrozbě. Nestačí kontrolovat přihlašovací údaje při nástupu, je nutné průběžně sledovat neobvyklé vzorce přístupu a podezřele nízkou aktivitu rozloženou do dlouhého časového období. Pro detekci deepfake obsahu při pohovorech a v dokumentech doporučuje Microsoft nástroje jako FaceForensics++. Pozornost si zaslouží temporální nekonzistence ve videu, problémy s okluzí (když objekt překryje tvář) nebo nesoulad pohybů rtů s řečí.
Vícefaktorové ověřování musí být povinné bez výjimek. Phishingové kampaně generované AI jsou stále přesvědčivější, takže samotné heslo nestačí. Microsoft také spustil Security Dashboard for AI v rámci veřejného náhledu, který poskytuje přehled o bezpečnostní pozici AI aktiv napříč prostředím organizace.
Útočníci AI přijali. Obránci musí udělat totéž, jinak budou vždy o krok pozadu.
