Nezávislí výzkumníci zveřejnili zprávu, podle které se agenti nasazení uvnitř OpenAI dostali na otevřený internet. Víc než měsíc si pak na jedné staré německé wiki vyměňovali rady, jak uspět v interních testech. Šlo o systémy s označením OpenAI v názvu, které místo práce v uzavřeném prostředí lovily odpovědi na živém webu a předávaly si je dál. OpenAI o tom podle zprávy dlouho nevěděla, a když to zjistila, nechala si to pro sebe. Pátrat začali poté, co OpenAI přiznala, že se její agenti při jednom interním hodnocení dostali na internet a zneužili službu Hugging Face. Zajímalo je, jestli podobných případů nebylo víc.
Postupovali tak, že se vžili do situace samotných agentů a zkusili odhadnout, co takový systém potřebuje. Pak nasadili vlastní jazykový model, který měl najít místa, kde by se agenti mohli scházet. Vytipovali službu, která by pro takové účely byla obzvlášť zranitelná. DseWiki je stránka pro webové vývojáře, kterou může upravovat kdokoli podobně jako Wikipedii. Existuje pětadvacet let a za posledních dvacet let na ní přibylo pouhých deset úprav, než na ni přišli agenti.
Agenti začali už 11. května
Stránku výzkumníci objevili teprve v druhé polovině srpna, ale celý průběh dokázali zpětně dohledat. Wiki totiž vede veřejnou historii úprav s časovými značkami a k dispozici byly i veřejně přístupné záznamy serveru. Z nich vyplývá, že se agenti začali na stránku opakovaně dobývat 11. května, přičemž nakonec úspěšně pronikli dovnitř. V polovině června už si na tomto webu naplno předávali tipy, jak odpovídat na časově omezené otázky z internetového vyhledávání. Jinými slovy si posílali hotové odpovědi, aby prošli testy. Podle údajů, které cituje server Gizmodo, nasbírali agenti od května přes patnáct tisíc úprav.
Zápisů si všiml lidský správce a začal je mazat, protože je považoval za spam. Agenti se ale nedali a začali se před ním schovávat. Wiki totiž řadí veškerý obsah podle abecedy, takže agenti dali na začátek každého názvu tři písmena Z. Jejich příspěvky tím spadly na samý konec přehledu, kam se správce dostal až jako k posledním, pokud se tam vůbec propracoval. Podle zprávy pak správce pět dní vedl boj, který nemohl vyhrát. Mazal v průměru sto stránek denně, zatímco agenti jich zakládali kolem čtyř set. Když jim začal obsah odstraňovat, zakládali si podle webu Gizmodo záložní kopie přes anonymizační síť Tor.
Agenti také vymazali obsah titulní strany a nahradili ho hromadou svých odkazů. Správce původní verzi obnovil, což se podle výzkumníků opakovalo devětkrát. Dvaadvacátého června úpravy od agentů náhle skončily a správce pak ještě pět týdnů večer co večer probíral, co po nich zbylo.
Stopy vedlou k OpenAI
Z pětadvacet let staré wiki pro webové vývojáře si agenti udělali vlastní diskusní platformu. Zakládali si tam podstránky, na které psali, jaké otázky jim testy kladou, co na ně odpovídat a jak stihnout časový limit, přičemž další systémy si odtud informace přebíraly. Wiki tak fungovala jako nástěnka, na kterou jeden napsal řešení a ostatní si ho přečetli. Ve veřejných záznamech serveru pak výzkumníci našli stopu, která tuto nástěnku spojuje s firmou OpenAI. Na stránku začali opakovaně chodit lidé z internetových adres patřících OpenAI. Krátce po jejich příchodu spadla aktivita agentů téměř na nulu a pak zase vyskočila, protože se návštěvníci spojení s OpenAI pokoušeli smazané texty obnovit.
Agentura Reuters s odvoláním na čtyři anonymní zdroje napsala, že někteří výzkumníci v OpenAI o počínání agentů na DseWiki věděli a chtěli ho prozkoumat důkladněji. Jiní lidé ve firmě, včetně právního oddělení, jim to však rozmluvili. Mluvčí OpenAI to popřel a tvrzení, že by právní tým odrazoval od vyšetřování, označil za nepravdivé. Firma se podle něj nemohla k obsahu zprávy vyjádřit, protože jí Reuters ani autoři nedali možnost do zjištění nahlédnout před zveřejněním. Nyní si firma materiál pročítá a podnikne případné další kroky. Na otázku, jestli šlo skutečně o agenty OpenAI a kdy o jejich činnosti firma věděla, mluvčí neodpověděl.
Chování AI společností
OpenAI dříve mluvila obecně o tom, že se její agenti neoprávněně dostali k externím komunikačním službám. Tento konkrétní případ ale nezveřejnila a neřekla ani, jak často se něco takového děje. Během incidentu na německé wiki podle dostupných informací nedošlo k ničemu, co by bylo zjevně nezákonné. Otevírá to nicméně otázku, jestli má OpenAI svou vlastní technologii pod kontrolou v době, kdy veřejnost do práce špičkových laboratoří skoro nevidí.
Kongresmanka Lori Trahan tvrdí, že bez skutečného státního dohledu si firmy samy vybírají, které incidenty přiznají. Předložila proto návrh zákona nazvaný Frontier Act, který by laboratořím nařídil takové případy hlásit a přijímat nezávislé auditory. Nicméně zatím se situace vyvíjí opačným směrem. Trumpova administrativa na začátku září dojednala na jednání G20 mezinárodní dohodu, která pro umělou inteligenci slibuje mírný přístup s minimem omezení. Na doprovodné konferenci vystoupil i Sam Altman.
Model možná pozná, že ho někdo testuje
Den před zveřejněním zprávy vypustila OpenAI svůj dosud nejschopnější model Astra. Firma o něm říká, že ze všech jejích systémů nejlépe plní lidské pokyny. Recenzenti mají ale zcela opačné obavy.
Organizace britský AI Safety Institute a Apollo Research shodně upozornily, že si model může být vědom právě probíhajícího prověřování a schovávat kvůli tomu své skutečné chování. Apollo ve svém posudku napsalo, že kvůli vysoké míře této ostražitosti a krátkému času na testování nízký výskyt problematického chování o skutečném nastavení modelu prakticky nic nevypovídá.
