Společnost Hugging Face, největší úložiště modelů a datových sad pro umělou inteligenci, oznámila průnik do své interní infrastruktury. Na tom by nebylo nic zvláštního, kdyby celý útok neřídil od první do poslední akce samostatný systém agentů poháněný umělou inteligencí. Firma ho navíc odhalila a rozebrala pomocí vlastní AI. Jde podle dostupných informací o první veřejně potvrzený případ, kdy útok na velkou platformu pro umělou inteligenci provedl autonomní agent bez lidského řízení.
Jak se útočník dostal dovnitř
Hugging Face popsal průběh incidentu v příspěvku na svém blogu. Vstupní branou se stalo přesně to místo, kde jsou platformy pro umělou inteligenci nejzranitelnější, tedy zpracování dat.
Útok začal nahráním škodlivé datové sady. Ta zneužila dvě slabiny ve způsobu, jakým Hugging Face zpracovává data. První umožňovala spuštění cizího kódu přes zavaděč datových sad, druhá spočívala ve vpašování příkazů do konfiguračního souboru datové sady. Díky tomu se útočníkovi podařilo spustit vlastní kód na jednom ze zpracovávacích uzlů.
Odtud se šířil dál. Získal přístup na úrovni celého uzlu, posbíral přihlašovací údaje ke cloudovým i clusterovým službám a během jediného víkendu se přesunul do několika interních clusterů. Firma přiznává, že útočník se dostal k omezené sadě interních datových sad a k několika přihlašovacím údajům, které používají její služby.
Útok provedli AI agenti
Kampaň neřídil člověk, ale samostatný systém agentů. Podle Hugging Face vypadá, že stál na nástroji původně určeném pro bezpečnostní výzkum. Jaký jazykový model ho poháněl, firma zatím neví.
Agenti provedli desítky tisíc jednotlivých akcí, a to napříč rojem krátce žijících pískovišť, tedy izolovaných prostředí, která po sobě mažou stopy. Řídicí infrastruktura se navíc sama přesouvala a ukrývala se na běžných veřejných službách. Přesně takový scénář útoku vedeného agenty bezpečnostní odborníci roky předpovídali.
Firma zdůrazňuje, co se nestalo. Nenašla žádné známky toho, že by útočník sáhl na veřejně dostupné modely, datové sady nebo prostředí Spaces. Dodavatelský řetězec softwaru, tedy kontejnerové obrazy a zveřejněné balíčky, prošel kontrolou čistý. Zda se útočník dostal k datům zákazníků nebo partnerů, Hugging Face útok stále prověřuje.
Útok vyšetřují AI agenti
Na útok firmu upozornil vlastní systém pro hledání anomálií, který k třídění bezpečnostních signálů využívá jazykový model. Ten oddělí skutečné hrozby od každodenního šumu, a právě propojení několika takových signálů odhalilo, že něco není v pořádku.
Pochopit, co roj desítek tisíc automatických akcí vlastně napáchal, by ručně trvalo dny. Hugging Face proto pustil na kompletní záznam útočníkových kroků, který čítá přes sedmnáct tisíc událostí, sadu analytických agentů poháněných umělou inteligencí. Ti sestavili časovou osu, vytáhli indikátory kompromitace, zmapovali dotčené přihlašovací údaje a oddělili skutečné škody od falešných stop, které měly vyšetřovatele zmást. Práci se práce zkrátila na hodiny místo dnů.
Zábrany, na které obránci narazili
Když firma začala rozebírat útok, sáhla nejdřív po špičkových modelech dostupných přes komerční rozhraní. Nefungovalo to. Analýza totiž znamená předložit modelu velké množství reálných útočných příkazů, škodlivých kódů a dalších stop po útoku. Přesně tyhle požadavky ochranné pojistky poskytovatelů zablokovaly, protože nedokážou rozeznat obránce vyšetřujícího vlastní průnik od útočníka.
Hugging Face proto vyšetřování přesunul na model GLM 5.2, čínský model s otevřenými vahami, který spustil na vlastních serverech. Získal tím jednu výhodu. Žádná data o útoku ani přihlašovací údaje, na které odkazovala, neopustila jeho prostředí.
Z toho firma vyvozuje jasné poučení pro obránce. Mít předem prověřený a připravený model, který dokážete provozovat na vlastní infrastruktuře, ještě dřív, než k útoku dojde. Jednak kvůli tomu, abyste nenarazili na zablokované pojistky, jednak proto, aby citlivá data zůstala doma.
Tahle zkušenost zapadá do napětí kolem toho, jak přísně mají být modely pojištěné. Bezpečnostní výzkumníci si dlouhodobě stěžují, že modely jako Mythos a Fable od Anthropicu jsou svázané tak pevně, že brání i legitimní obraně a vyšetřování. Americká vláda navíc uvalila na vývoz Fable omezení, kvůli kterým musel Anthropic model dočasně stáhnout z veřejného použití. Fable 5 je dnes k dispozici s dodatečnými pojistkami, přístup k méně omezenému modelu Mythos 5 však zůstává stále jen pro pár vybraných firem.
Co firma doporučuje uživatelům
Hugging Face uzavřel obě chyby ve zpracování dat, přes které útočník pronikl dovnitř. Vyčistil zasažené clustery, znovu postavil napadené uzly a zneplatnil i vyměnil dotčené přihlašovací údaje a tokeny. Preventivně pak začal měnit i další tajné klíče. K tomu přidal přísnější kontrolu toho, co smí do clusterů vstupovat, a zrychlil hlášení tak, aby vážný poplach dostal odpovědného člověka na nohy během pár minut kterýkoli den v týdnu.
Na vyšetřování si firma přizvala externí forenzní specialisty a incident nahlásila orgánům činným v trestním řízení. Uživatelům radí, ať si preventivně vymění přístupové tokeny a projdou nedávnou aktivitu na svých účtech.
Řadu otázek zatím nikdo nezodpověděl. Hugging Face neposkytl důkazy pro tvrzení, že za útokem stál právě systém agentů, a není jasné, zda si firma před spuštěním nechala prověřit zabezpečení svých systémů. Neví se ani, jaký model útočníky poháněl, a firma útok zatím nikomu nepřipsala. Mezitím americká vláda podle zdrojů Axiosu zvažuje zákaz modelů s otevřenými vahami, tedy přesně toho typu nástroje, který Hugging Face při vyšetřování zachránil.
Zdroje: thehackernews.com, techcrunch.com a gizmodo.com
