Umělá inteligence jako přítel nebo nepříte? NIST hledá odpovědi

Umělá inteligence jako přítel nebo nepříte? NIST hledá odpovědi

Ondřej Barták
Ondřej Barták
podnikatel a programátor
23. 9. 2025
4 minut čtení · 6 zhlédnutí
Umělá inteligence jako přítel nebo nepříte? NIST hledá odpovědi

Umělá inteligence jako přítel nebo nepříte? NIST hledá odpovědi

Umělá inteligence se rychle stává klíčovým prvkem v oblasti kybernetické bezpečnosti, kde funguje jako nástroj, který pomáhá obráncům odhalovat anomálie, detekovat průniky a urychlovat reakce na hrozby. Zároveň však ty samé nástroje usnadňují útočníkům škálování a automatizaci jejich akcí. AI dokáže generovat kód na opravu zranitelností, ale také je využívat, kdykoli je objeví. Pomáhá identifikovat phishingové pokusy (podvody k získávání citlivých údajů) nebo vytvářet realistické útoky, které oklamají i zkušené uživatele. Právě tuto dvojí povahu AI se snaží rozluštit americký Národní institut pro standardy a technologie (NIST), který pořádá sérii virtuálních pracovních setkání, kde se scházejí experti z vlády a průmyslu.

První dvě setkání profilu NIST pro kybernetickou bezpečnost umělé inteligence se konala v srpnu a byla plná zajímavých informací s účastí odborníků z vlády, průmyslu i vzdělávacích institucí. První se zaměřilo na různé způsoby fungování AI a na to, jak je zabezpečit. Druhé se věnovalo budování obrany posílené AI. Celá série je virtuální a otevřená pro kohokoli. Poslední setkání je naplánováno na září a tentokrát se zabývá klíčovou otázkou: jak útoky posílené AI obcházejí tradiční obrany. Podle NIST toto na setkání také proberou, jak agentury a organizace mohou budovat odolnost proti takovým útokům. Tato obava se objevila už v předchozích setkáních, což ukazuje na společný zájem vlády i soukromého sektoru.

V blogových příspěvcích po setkáních výzkumníci NIST poznamenali, že AI zvyšuje rychlost a rozsah obranných nástrojů, ale dělá totéž pro útoky. Typické útoky jako phishingové kampaně, otrávení dat nebo inverze modelů už nejsou pracné operace, když AI zvládne většinu práce. Útočníci začali experimentovat s agentickou AI, která se dokáže autonomně přizpůsobovat a provádět vícestupňové kampaně s minimálním lidským zásahem. Její dovednosti v provádění pokročilých útoků se zlepšují.

Agentická AI jako hrozba budoucnosti

Agentická AI se schopností autonomně provádět složité, vícestupňové operace a měnit taktiku uprostřed útoku by mohla být v blízké budoucnosti obzvláště nebezpečná. Už teď se používá pro ofenzivní operace. Nedávná zpráva od Palo Alto Network’s Unit 42 podrobně popisuje, jak agentická AI zvyšuje rychlost, rozsah a sofistikovanost útoků. Unit 42 simulovala útoky ransomware a exfiltrace dat pro svou studii, přičemž nechala agentickou AI učit se a přizpůsobovat se obranám, které potkala. V mnoha případech AI obešla nebo oklamala většinu tradičních obran. Průměrný čas, za který agentická AI pronikla dovnitř a začala exfiltrovat data, byl jen 25 minut – to je stokrát rychleji než u běžného útoku bez AI.

Jak se tedy bránit útokům posíleným AI? NIST a další odborníci zdůrazňují, že klíčem je proaktivní obrana. Automatizované testování červeného týmu, principy nulové důvěry, lepší kontroly identity a přísné řízení privilegií se stávají zásadními v světě, kde AI útočníci nepotřebují odpočívat. Technologie sama o sobě nestačí – důležitý je i lidský faktor.

Přemýšlejte o AI v softwarovém vývoji. Nedávná studie provedená výzkumníky z University of San Francisco, Vector Institute for Artificial Intelligence v Torontu a University of Massachusetts Boston analyzovala 400 vzorků kódu přes 40 kol zlepšení s použitím čtyř strategií promptování. Jedna dokonce explicitně žádala testované AI, aby zlepšily bezpečnost existujícího kódu odstraněním zranitelností. Výsledky nebyly dobré. Po pouhých pěti kolech změn došlo k 37,6% nárůstu kritických zranitelností, které jiné AI mohly snadno využít. S dalšími iteracemi, kdy AI pracovala se zdrojovým kódem, se problémy zhoršovaly.

Doporučení této studie se soustředila na jednu opakující se myšlenku: lidský dohled. Vývojáři by měli kontrolovat všechny posloupnosti kódu, používat automatizované nástroje jako doplňky, omezovat po sobě jdoucí úpravy řízené AI a sledovat složitost kódu. To znamená, že organizace by měly investovat do školení, aby vývojáři měli potřebné bezpečnostní dovednosti v dnešním prostředí řízeném AI. Jinak to jen usnadní agentické AI využívat kód vytvořený jejími AI sourozenci.

Nové hrozby a obranné strategie

Open Worldwide Application Security Project (OWASP) nedávno varoval před novou obavou spojenou s agentickou AI: rostoucí přítomností variant existujících hrozeb v agentické podobě. Ty zahrnují velmi nebezpečné a efektivní techniky jako otrávení paměti, zneužití integrovaných nástrojů a eskalace privilegií, když AI agent jedná jménem lidského uživatele. Když je agentická AI požádána o provedení takových útoků, dělá to extrémně rychle a s velkou dovedností. Podle OWASP je teď nejlepší obranou zavádět silné kontroly identity, přísné řízení privilegií a neustálé monitorování pro detekci neobvyklého chování.

Výzva s AI teď spočívá v tom, snažit se naklonit váhy na stranu obránců. Právě proto je nadcházející workshop NIST o bránění kybernetickým útokům umožněným AI tak důležitý. Nejde jen o opravu dnešních zranitelností, ale také o přípravu na zítřejší hrozby. V rychle se měnícím světě AI by to zítřek mohl být už tady.

Reklama

S tvorbou obsahu pomáhá UpTier.

SEO a GEO na autopilota. Multiagentní systémy UpTier píší a optimalizují obsah pro vyhledávače i AI odpovědi.

Objevte UpTier ↗

Kategorie:AI
Líbil se vám tento článek?
Objevte další zajímavé příspěvky na blogu
Zpět na blog

Související články

OpenAI vytáhlo do boje proti zneužívání dětí. ChatGPT zablokuje účet na celý denOpenAI vytáhlo do boje proti zneužívání dětí. ChatGPT zablokuje účet na celý den
OpenAI posiluje ochranu dětí: nový systém odhalí i dosud neznámé AI obrázky a za pokus o jejich získání ChatGPT účet na 24 hodin zablokuje.
4 min čtení
18. 11. 2026
Google zpřístupňuje Tasks zdarma uživatelům Gemini 4 HydrogenGoogle zpřístupňuje Tasks zdarma uživatelům Gemini 4 Hydrogen
Režim Tasks se zdarma dostává ke stovkám milionů uživatelů Gemini 4 Hydrogen. Podle Googlu může za uživatele volat firmám, sjednávat schůzky a dokončovat nákupy.
1 min čtení
18. 11. 2026
OpenAI uvádí GPT-6.2 Astra a Sol pro profesionální i každodenní práciOpenAI uvádí GPT-6.2 Astra a Sol pro profesionální i každodenní práci
OpenAI představila dva modely: Astra míří na složité profesionální úkoly, Sol na běžnou práci. Oba jsou dostupné v ChatGPT Work, Codexu a přes API.
3 min čtení
17. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Provozovatel: CodedTrip LLC, USA.

YouTube
TikTok