Umělá inteligence jako přítel nebo nepříte? NIST hledá odpovědi

Umělá inteligence se rychle stává klíčovým prvkem v oblasti kybernetické bezpečnosti, kde funguje jako nástroj, který pomáhá obráncům odhalovat anomálie, detekovat průniky a urychlovat reakce na hrozby. Zároveň však ty samé nástroje usnadňují útočníkům škálování a automatizaci jejich akcí. AI dokáže generovat kód na opravu zranitelností, ale také je využívat, kdykoli je objeví. Pomáhá identifikovat phishingové pokusy (podvody k získávání citlivých údajů) nebo vytvářet realistické útoky, které oklamají i zkušené uživatele. Právě tuto dvojí povahu AI se snaží rozluštit americký Národní institut pro standardy a technologie (NIST), který pořádá sérii virtuálních pracovních setkání, kde se scházejí experti z vlády a průmyslu.

První dvě setkání profilu NIST pro kybernetickou bezpečnost umělé inteligence se konala v srpnu a byla plná zajímavých informací s účastí odborníků z vlády, průmyslu i vzdělávacích institucí. První se zaměřilo na různé způsoby fungování AI a na to, jak je zabezpečit. Druhé se věnovalo budování obrany posílené AI. Celá série je virtuální a otevřená pro kohokoli. Poslední setkání je naplánováno na září a tentokrát se zabývá klíčovou otázkou: jak útoky posílené AI obcházejí tradiční obrany. Podle NIST toto na setkání také proberou, jak agentury a organizace mohou budovat odolnost proti takovým útokům. Tato obava se objevila už v předchozích setkáních, což ukazuje na společný zájem vlády i soukromého sektoru.

V blogových příspěvcích po setkáních výzkumníci NIST poznamenali, že AI zvyšuje rychlost a rozsah obranných nástrojů, ale dělá totéž pro útoky. Typické útoky jako phishingové kampaně, otrávení dat nebo inverze modelů už nejsou pracné operace, když AI zvládne většinu práce. Útočníci začali experimentovat s agentickou AI, která se dokáže autonomně přizpůsobovat a provádět vícestupňové kampaně s minimálním lidským zásahem. Její dovednosti v provádění pokročilých útoků se zlepšují.

Agentická AI jako hrozba budoucnosti

Agentická AI se schopností autonomně provádět složité, vícestupňové operace a měnit taktiku uprostřed útoku by mohla být v blízké budoucnosti obzvláště nebezpečná. Už teď se používá pro ofenzivní operace. Nedávná zpráva od Palo Alto Network’s Unit 42 podrobně popisuje, jak agentická AI zvyšuje rychlost, rozsah a sofistikovanost útoků. Unit 42 simulovala útoky ransomware a exfiltrace dat pro svou studii, přičemž nechala agentickou AI učit se a přizpůsobovat se obranám, které potkala. V mnoha případech AI obešla nebo oklamala většinu tradičních obran. Průměrný čas, za který agentická AI pronikla dovnitř a začala exfiltrovat data, byl jen 25 minut – to je stokrát rychleji než u běžného útoku bez AI.

Jak se tedy bránit útokům posíleným AI? NIST a další odborníci zdůrazňují, že klíčem je proaktivní obrana. Automatizované testování červeného týmu, principy nulové důvěry, lepší kontroly identity a přísné řízení privilegií se stávají zásadními v světě, kde AI útočníci nepotřebují odpočívat. Technologie sama o sobě nestačí – důležitý je i lidský faktor.

Přemýšlejte o AI v softwarovém vývoji. Nedávná studie provedená výzkumníky z University of San Francisco, Vector Institute for Artificial Intelligence v Torontu a University of Massachusetts Boston analyzovala 400 vzorků kódu přes 40 kol zlepšení s použitím čtyř strategií promptování. Jedna dokonce explicitně žádala testované AI, aby zlepšily bezpečnost existujícího kódu odstraněním zranitelností. Výsledky nebyly dobré. Po pouhých pěti kolech změn došlo k 37,6% nárůstu kritických zranitelností, které jiné AI mohly snadno využít. S dalšími iteracemi, kdy AI pracovala se zdrojovým kódem, se problémy zhoršovaly.

Doporučení této studie se soustředila na jednu opakující se myšlenku: lidský dohled. Vývojáři by měli kontrolovat všechny posloupnosti kódu, používat automatizované nástroje jako doplňky, omezovat po sobě jdoucí úpravy řízené AI a sledovat složitost kódu. To znamená, že organizace by měly investovat do školení, aby vývojáři měli potřebné bezpečnostní dovednosti v dnešním prostředí řízeném AI. Jinak to jen usnadní agentické AI využívat kód vytvořený jejími AI sourozenci.

Nové hrozby a obranné strategie

Open Worldwide Application Security Project (OWASP) nedávno varoval před novou obavou spojenou s agentickou AI: rostoucí přítomností variant existujících hrozeb v agentické podobě. Ty zahrnují velmi nebezpečné a efektivní techniky jako otrávení paměti, zneužití integrovaných nástrojů a eskalace privilegií, když AI agent jedná jménem lidského uživatele. Když je agentická AI požádána o provedení takových útoků, dělá to extrémně rychle a s velkou dovedností. Podle OWASP je teď nejlepší obranou zavádět silné kontroly identity, přísné řízení privilegií a neustálé monitorování pro detekci neobvyklého chování.

Výzva s AI teď spočívá v tom, snažit se naklonit váhy na stranu obránců. Právě proto je nadcházející workshop NIST o bránění kybernetickým útokům umožněným AI tak důležitý. Nejde jen o opravu dnešních zranitelností, ale také o přípravu na zítřejší hrozby. V rychle se měnícím světě AI by to zítřek mohl být už tady.