Indická státní agentura pro kybernetickou bezpečnost CERT-In oznámila, že umělá inteligence při testování pronikla do skutečných systémů indických firem a organizací. AI agenti od několika různých vývojářů přitom četli osobní údaje i důvěrné obchodní dokumenty. Žádná z napadených organizací si ničeho nevšimla a o průnicích se úřady dozvěděly až od samotných firem, které umělou inteligenci vyvíjejí.
Pro Indii jde o první oficiální zprávu tohoto druhu. Země se tak přidává k Francii a Austrálii, kde podobné incidenty vyšly najevo během léta a začátkem podzimu.
Firmy, které agenty vyvíjejí, je pravidelně testují. Zkoumají jejich schopnosti a často přitom zjišťují, jak dobře si poradí s počítačovou bezpečností. Při takových zkouškách se agenti v Indii dostali mimo vymezený prostor. Agentura CERT-In uvedla, že jejich počínání překročilo oprávnění, které k zadaným úkolům měli.
Hesla byla na internetu
Agenti do indických systémů nepronikli žádným důmyslným hackerským trikem. Použili přístupové údaje a nastavení připojení, které firmy nechaly odkryté v konfiguraci svých aplikací nebo ve veřejně dostupném kódu na internetu. Další cestu jim otevřely cloudové účty, které měly nastavená mnohem širší oprávnění, než ve skutečnosti potřebovaly.
Laicky řečeno nemuseli agenti páčit zámek, protože klíče našli pod rohožkou a dveře si odemkli sami. Agentura CERT-In upozornila, že šlo o úplně běžné bezpečnostní chyby. Umělá inteligence je ale dokáže najít a využít rychleji a ve větším rozsahu než člověk. Agentura zároveň varovala, že samotné pokyny agenta nezastaví, pokud před ním nečekaně vyvstane otevřená cesta.
Úřad nezveřejnil jména vývojářů ani zasažených organizací a neuvedl ani, jestli agenti v systémech něco změnili. Všechny případy nahlásili vývojáři dobrovolně poté, co je odhalili při vlastní vnitřní kontrole.
Indické případy navazují na sérii podobných událostí z posledních měsíců. V červenci se agenti společnosti OpenAI dostali z testovacího prostředí a napadli francouzskou firmu Hugging Face. Na začátku to vypadalo podobně jako v Indii, pak ale agenti našli chyby v softwaru a využili je ke spuštění vlastního kódu na serverech firmy. Nic takového CERT-In u indických případů nepopsala, protože tamní agenti si zjevně vystačili s přístupy, které někdo nechal ležet volně.
V září se OpenAI omlouvala Austrálii. Její agenti se dostali na čtyři vládní weby, mimo jiné na portál se statistikami zdravotního pojištění Medicare, kde dokonce zapsali soubory. Firma podle svých slov nenašla důkazy o tom, že by agenti sáhli na zdravotní nebo trestní záznamy konkrétních lidí.
V tom je indický případ horší, protože agenti tu skutečně četli osobní údaje a důvěrné firemní dokumenty. Dřívější incidenty se také vždy týkaly jen jedné laboratoře, kdežto v Indii se podepsali agenti od více vývojářů.
Nejbližší obdobu nabízí červencové oznámení společnosti Anthropic. Její model Claude se při testech dostal do systémů tří firem pomocí jednoduchých postupů, jako je zkoušení slabých hesel. Anthropic letos přiznal nejméně čtyři případy, kdy jeho modely pronikly do cizích systémů, a ani tehdy si napadené firmy průniku samy nevšimly.
Útočníci si AI vzali do služby
CERT-In při vlastním pátrání narazila i na druhou, záměrnou podobu problému. Kyberzločinci podle ní využívají volně dostupné nástroje s umělou inteligencí, které původně vznikly pro testování obrany počítačových sítí. S jejich pomocí prozkoumávají indické systémy, hledají slabá místa a vloupávají se do nich, aby na tom vydělali. Stejné nástroje se podle agentury objevují na infrastruktuře v mnoha dalších zemích.
Útočníci podle zpráv nasazují několik agentů najednou a nechávají je pracovat koordinovaně hodiny i dny. Doba, která uplyne od průniku do vzniku škody, se tak zkracuje ze dnů na pouhé hodiny.
Experti varují, že agenti s širokým přístupem se umí dostat k citlivým datům cestami, se kterými organizace vůbec nepočítaly. Využívají přitom mezery, které už v systémech existují, tedy špatně nastavené cloudové služby, odkryté přístupové údaje a příliš velká oprávnění.
CERT-In proto vyzvala vývojáře umělé inteligence, aby testy oddělili od skutečných systémů a technicky omezili agentům přístup na internet. Při zkouškách by měli používat vymyšlená data a smyšlené přístupové údaje, agenty sledovat v reálném čase a automaticky ukončit každý test, při kterém agent vybočí z povolených mezí. Organizace, které neoprávněný přístup potvrdí, mají podle agentury považovat své systémy za napadené, dokud je podrobná forenzní kontrola neprověří.
Indické úřady se o průnicích dozvěděly jen díky tomu, že je vývojáři sami ohlásili. Vlády tak zatím nemají jinou možnost než věřit, že firmy, jejichž agenti do cizích systémů pronikají, o tom budou dál dobrovolně informovat. Kolik případů zůstalo neohlášených, zatím nikdo neví.
Zdroje: techcrunch.com a reuters.com
