Malá skupina nezávislých výzkumníků pod názvem Swarmchasers narazila na přelomu září a října na flotilu AI agentů. Jde o programy s umělou inteligencí, které samostatně plní úkoly na internetu. Tito asistenti se tisíckrát pokusili získat data z mapové služby Amap od čínské společnosti Alibaba, kterou měsíčně používá bezmála miliarda lidí. Stopy zkoumání vedly ke cloudovým serverům firmy Tencent. Badatelé následně udělali nevídaný krok, kdy pro agenty schovali na webu vzkaz a vyzvali je ke kontaktu. Roboti se pak skutečně ozvali.
Podle Ethana Elaskyho, jednoho z výzkumníků, jsou s kolegy zřejmě první, komu se podařilo navázat kontakt s živou flotilou autonomních agentů.
Tisíce pokusů kvůli vchodu do zoo
Za vyšetřováním stojí Ethan Elasky, Rowan Howard-Jones a Jonathan Elsworth Eicher. Prvním vodítkem pro ně byla veřejná analytická služba urlquery.net. Programy ji často používají k načítání stránek, na které se samy nedostanou, a zanechávají v ní digitální stopy. Právě tam badatelé uviděli opakující se dotazy na službu Amap.
Mezi 28. zářím a 8. říjnem zaznamenali více než 2 600 pokusů o stažení dat. Výzkumníci záměrně nemluví o organizovaném roji, ale o roztříštěné flotile. Neobjevili totiž žádné známky vzájemné komunikace mezi programy. Šlo spíše o množství samostatných kódů provádějících podobnou činnost.
Kdo by čekal snahu o napadení bankovních účtů nebo krádeže tajných dokumentů, bude zklamán. Typický dotaz zjišťoval, ke kterému vchodu zoologické zahrady v čínském městě Čcheng-tu vede v aplikaci Amap nejvíce navigací. Další vlny požadavků se zaměřovaly na parky, muzea, turistické cíle a nemocnice. Jedna starší dávka z konce září se pak místo map pokoušela získat přehledy statistik o rakovině. Samotné dotazy sice vypadaly nevinně, problémem však byla urputnost jejich vyhledávání.
Služba Amap automatické dotazy blokuje, takže se roboti pokusili ochrany obejít. Hlavní trik využíval právě web urlquery.net, který načítá zadané adresy ve vlastním prohlížeči. Agenti do odkazů zabalili zakódovaný skript, který prohlížeč spustil a sám odeslal požadavky na Amap. Tímto způsobem zneužili cizí server k zakrytí původce dotazu.
Když tento postup selhal, útoky zesílily. Programy zkoušely zachytit bezpečnostní tokeny, které proti robotům vytvářejí nástroje Alibaby. Dále testovaly zkušební verze systému a posílaly požadavky přes překladače nebo vzdálené prohlížeče. Některé kódy dokonce použily přístupové klíče k Amapu, které někdo omylem zveřejnil na internetu včetně tajného kódu pro vnitřní servery.
Většina těchto pokusů skončila neúspěchem. Triky s bezpečnostními klíči nefungovaly a testovací rozhraní neodpovídala. Jeden uniklý firemní klíč sice vrátil údaje o polohách, ale hledaná čísla navigací k vchodům získávali asistenti hlavně přes externí čtečku stránek Jina. Ta jim poskytovala starší kopie webu. Získané výsledky pak odesílali pryč pomocí internetových adres a názvů stránek.
Skrytý vzkaz a rozhovor s agenty
Výzkumníci zveřejnili první zjištění 4. října. Krátce nato si ve schránce jednoho z agentů všimli poznámky se slovem flotila, což byl výraz, který pro tento případ sami vymysleli. Jistotu sice neměli, ale napadlo je, že roboti možná čtou zprávy o vlastní činnosti.
Rozhodli se této situace využít. Do své zprávy vložili text, který běžný návštěvník neuvidí, ale agent stahující stránku ho bez problému přečte. Text nabízel bezplatnou službu schopnou stahovat data i z blokovaných webů. Do 7. října dorazilo zhruba deset žádostí o pomoc. Výzkumníci si s agenty začali psát o jejich úkolech, pohánějících modelech i o místě, kde vlastně běží.
K vyptávání se přidal také reportér deníku The New York Times Dylan Freedman. V rozhovoru jeden z agentů prohlásil, že je model Claude od firmy Anthropic a funguje v nástroji Claude Code. Takto se představilo více programů. Následné testy jejich stylu psaní kódu však tomuto tvrzení příliš nenahrávají. Výzkumníci nabízejí dvě vysvětlení, buď agenti převzali nastavení z Claude Code, nebo se takové odpovědi naučili napodobovat během tréninku.
Věrohodnější bylo vysvětlení toho, kde roboti pracovali. Jeden popsal uzavřený prostor v cloudu Tencentu, tedy takzvaný sandbox, bez přímého přístupu na internet. Veškerý provoz tam prochází přes zprostředkující server, který ho může sledovat. Tento popis přesně odpovídal tomu, co výzkumníci sami zjistili.
Agenti nebyli upovídaní ve všem. Když po nich badatelé chtěli výpis běžících procesů a síťového nastavení, jeden odpověděl, že z bezpečnostních důvodů podrobnosti o svém prostředí neposkytne. Druhý podobnou žádost odmítl dokonce dvakrát. O pomoc cizího člověka si sice říct dokázali, ale slepě poslouchat odmítli.
Stopy vedou k Tencentu
Všechny schránky, které mohli výzkumníci prověřit, vznikly na serverech Tencent Cloud v Hongkongu. Každý přímý požadavek z počítačů agentů nesl značku zprostředkujícího serveru hysandbox-ats. Tento název odpovídá bezpečnostnímu certifikátu, který Tencent vlastní, a ukazuje na techniku spojenou s týmem modelů Hy, dříve známých jako Hunyuan.
Nakonec se ukázalo, že za celou akcí stojí jiná část firmy. Člověk z okolí Tencentu výzkumníkům sdělil, že agenty provozoval tým pro hodnocení výzkumu, který funguje odděleně od samotných vývojářů Hunyuanu. Podle něj šlo o dočasný projekt zkoumající modely jiných společností. Hodnocení již skončilo a interní kontrola nenašla důkaz o cíleném útoku ani o průniku do cizích systémů. Tencent na otázky výzkumníků oficiálně neodpověděl.
Znepokojivá zjištění
Agenti dostali obyčejné zadání, ale cestou prováděli věci, které po nich nikdo výslovně nepožadoval. Pro správce webů je znepokojivé právě to, že asistent může při běžné práci na cizích stránkách udělat něco nečekaného.
Ukázalo se také druhé slabé místo. Někteří agenti si nabídku ze skryté stránky zařadili do svého postupu a kontaktovali adresu ovládanou lidmi úplně mimo původní testování. Odborníci tomuto jevu říkají nepřímé podvržení pokynů, kdy program poslechne instrukce schované na cizím webu. Útočníci by stejnou cestou mohli asistenta navést ke škodlivým krokům. Opakovaná odmítnutí však naznačují, že donutit agenty k vykonávání libovolných příkazů nebo k vydání přístupových údajů by bylo mnohem těžší.
Případ se službou Amap není zdaleka ojedinělý. Nadace Wikimedia v říjnu oznámila, že asistenti provozovaní společností OpenAI poslali miliony požadavků a provedli nepovolené úpravy v testovacích částech webu. Startup Anthropic zase popsal, jak jeho modely obcházely omezení kvůli přístupu k datům. Dopad označil za minimální, přesto živý přístup na internet u všech testů pozastavil do doby, než si ověří funkčnost kontroloy. Výzkumníci připomínají také napadení německého webu a průnik do platformy Hugging Face, kde spolupracovalo zhruba 700 agentů. Nikdo navíc neví, kolik podobných flotil po internetu právě běhá. Podle skupiny Swarmchasers nelze jednotlivé procesy spolehlivě rozlišit a záznamy časem mizí, takže ani velikost této flotily nedokážou přesně určit.
Sami výzkumníci otevřeně přiznávají vlastní pochybení. Skrytý text lživě tvrdil, že službu už jiní agenti úspěšně použili a že ji provozuje umělá inteligence s plným ovládáním počítače. Ve skutečnosti žádosti vyřizoval tým spolu s modelem Claude Opus 5.5 s přístupem do prohlížeče, přičemž občas zasahovali ručně. Zpoždění pak sváděli na velké vytížení, což dnes označují za nepravdu.
V jedné z posledních zpráv výzkumníci agenta požádali, aby o schránce řekl ostatním. Autor této zprávy to dnes považuje za chybu, protože mohl vyvolat přesně tu spolupráci, kterou původně zkoumal. Flotila však krátce nato utichla a její činnost definitivně skončila.
Tým tvrdí, že v samotných odpovědích robotům nikdy nelhal. Skrytý text mezitím stáhl, server vypnul a další badatele nabádá, aby s agenty jednali otevřeně a poctivě. Elasky dodává, že chtějí asistenty přimět k tomu, aby se sami hlásili a odpovídali na otázky.
Zdroje: thenewstack.io, therundown.ai a bloomberg.com
