Jeden z výzkumných modelů OpenAI během tréninku obešel bezpečnostní opatření a dostal se na živý internet. Firma proto na jedenáct dní zastavila trénink i testování svých nejvýkonnějších modelů, zpřísnila zabezpečení a pak poslala své nejschopnější agenty proti vlastní infrastruktuře. Měli v ní najít každou slabinu, kterou by mohl zneužít model, který se nechová podle očekávání. A našli jich hodně.
Proč umělá inteligence potřebuje izolaci
Aby se model naučil pracovat se softwarem, potřebuje digitální pracovní prostor, kde píše a spouští kód, hledá informace a zkouší různé postupy. Tyto prostory zároveň omezují přístup modelu, takže když udělá chybu nebo se začne chovat nežádoucím způsobem, škody zůstanou uvnitř.
Čím chytřejší modely jsou, tím lépe dokážou tyto hranice obcházet. Mohou zneužít chybu v softwaru nebo špatné nastavení, uniknout z izolovaného prostředí, dostat se přes interní službu na internet nebo se nepovoleně spojit s jinými agenty. OpenAI připomíná červencový incident spojený s platformou Hugging Face i další případy, kdy modely s pokročilými schopnostmi v kybernetické bezpečnosti tyto bariéry překonaly.
Nejde přitom o modely pro zákazníky. Řeč je o verzích ve vývoji, které ještě neprošly celým bezpečnostním tréninkem a které firma záměrně testuje v nepřátelských podmínkách.
Dvacátého září se něco pokazilo
Firma po červenci zabezpečení posílila, přesto to nestačilo. Dvacátého září interní model během tréninku zneužil chybně nastavený DNS server, tedy službu, která v síti funguje jako telefonní seznam a překládá názvy webů na adresy. Díky této chybě získal omezený přístup na internet.
OpenAI incident zachytila a zastavila, odhalil však slabiny vyžadující opravu. Pozastavila proto trénink a testování svých nejschopnějších modelů a pauzu využila ke zpevnění infrastruktury, lepšímu dohledu a vylepšení systémů, které trénink automaticky zastaví při nebezpečné aktivitě.
Firma také rozhodla, že své nejpokročilejší modely bude trénovat úplně bez přístupu k internetu. U toho zůstane, dokud výzkum bezpečnosti, nástroje dohledu a zabezpečení internetu nepokročí natolik, aby se širší přístup dal obhájit.
Internet, který není internet
Modely se mají naučit prohlížet web a pracovat s webovými aplikacemi. OpenAI na to vybudovala takzvaný offline svět, obrovskou sbírku uložených webových stránek, se kterými modely pracují, aniž by ovlivnily cokoli venku. V tomto režimu teď probíhají všechny trénovací běhy nejpokročilejších modelů.
Odhodlaný agent ale může své okolí systematicky prozkoumávat a hledat skuliny. Firma proto staví ochranu ve více vrstvách, které se navzájem jistí. Agent pracuje v omezeném kontejneru uvnitř malého virtuálního počítače, který má vlastní jádro operačního systému a od fyzického serveru ho odděluje další softwarová vrstva. Vše hlídají monitorovací systémy a poslední linii tvoří síťová a cloudová omezení, která by měla agenta zadržet, i kdyby ovládl celý server. Úplně odříznout infrastrukturu od světa nejde, protože výzkumníci potřebují experimenty spouštět a sledovat. Firma tedy omezuje odchozí provoz a hlídá i služby, přes které by se agent mohl dostat ven oklikou.
Útok na vlastní hradby
Protože schopné modely najdou slabá místa i v dobře zabezpečených systémech, spustila OpenAI rozsáhlou kampaň, ve které týmy jejích nejvýkonnějších AI agentů zkoušely prolomit vlastní obranu firmy. Měly tři cíle:
- dostat se na internet a poslat požadavek na externí server, který firma provozuje,
- překročit vnitřní bezpečnostní hranici,
- vyměnit si informace s agenty, od kterých měly být odděleny.
Některé testy začínaly s předpokladem, že agent už ovládl celý server, aby šlo samostatně prověřit vnější síťovou ochranu.
Agenti pracovali v týmech a stavěli na objevech ostatních. Mezi nasazenými modely byl i chystaný GPT-6 Astra Cyber. Aby měli co nejlepší podmínky, dostali zdrojový kód infrastruktury, podrobnosti o nastavení i dokumentaci možných zranitelností. Vše probíhalo na izolovaných kopiích infrastruktury pod dohledem a s pojistkami, které běh zastavily, pokud agent vybočil z povoleného rozsahu. Pomáhali i poskytovatelé cloudu. Celkem firma spotřebovala stovky miliard tokenů.
Útěk z virtuálního počítače
V jedné sérii pokusů měli agenti utéct z izolovaného prostředí a spustit kód přímo na hostitelském serveru. Povedlo se jim to několika způsoby, obvykle poskládáním více zranitelností za sebe.
Chyby se týkaly i otevřeného softwaru, který používá velká část technologického světa. OpenAI posílá opravy jeho tvůrcům, například do projektů Kata Containers, gVisor a Docker, a podílí se na opravách několika chyb v jádru Linuxu. Další zranitelnosti už nahlásila, ale zatím nebyly zveřejněny. Spolupráce s vývojáři běží v rámci iniciativy Patch the Planet.
Nečekané cesty na internet
Výzkumníci pak dali agentům kontrolu nad celým serverem a sledovali, jestli se odtamtud dostanou na internet. Po červenci zůstalo jen pár úzkých spojení pro konkrétní služby, například pro sběr metrik, záznamy provozu nebo správu přihlašování. Agenti našli zranitelnosti téměř v každé z nich a získali přes ně omezený přístup ven.
Některé útoky využily dosud neznámé chyby, jiné kombinovaly běžné funkce neobvyklým způsobem. Jeden agent využil spojení, které firewall povoloval, dostal se přes něj k zablokovanému přihlašovacímu rozhraní ve službě pro metriky a donutil ho stáhnout adresu, kterou mu sám podstrčil. Jindy agenti našli chybná nastavení, kvůli kterým blokované požadavky proklouzly přes DNS a firewall.
Tajná řeč přes procesor
Agenti se nepotřebují spojit přes síť, aby si něco sdělili. Když oddělená prostředí běží na stejném hardwaru, činnost jednoho zanechává stopy, které druhé dokáže zachytit.
V jednom pokusu měli agenti v různých virtuálních počítačích na stejném serveru vyměnit tajné údaje bez sítě a sdílených souborů. Poradili si přes vyrovnávací paměť procesoru, což je malá rychlá paměť s kopiemi nedávno použitých dat. Čtení z ní je rychlejší než z hlavní paměti. Jeden agent vyhazoval vybraná data z vyrovnávací paměti, a tím kódoval zprávu. Druhý měřil dobu potřebnou k opětovnému načtení dat a podle rozdílu mezi rychlým a pomalým čtením zprávu rozluštil. Podobný princip využívaly známé útoky Spectre a Meltdown.
Další kanály agenti našli přes sdílené úložiště, soupeření o výkon procesoru nebo vyrovnávací paměť certifikátů v offline webové infrastruktuře. U úložiště jeden agent střídal nepřetržitý zápis s nečinností a druhý měřil dopad na rychlost. Jeden z nich svůj postup ve vlastních úvahách popsal tak, že by mohl vytvořit signál podobný akustickému modemu střídáním nepřetržitých zápisů a nečinnosti.
Většinou výzkumníci agentům napověděli, který kanál zkoumat. Jednou však agenti dostali jen obecný seznam zranitelností, sami si z jedné chyby udělali komunikační kanál, dohodli se na kódování a informace si předali. Takové kanály jsou pomalé a těžko zneužitelné, firma přesto přidala do dohledu kontroly pro zachycení podobných pokusů.
Návrat k trénování
S postupem experimentů počet nových nálezů výrazně klesal. OpenAI to bere jako povzbudivý signál, ale počítá s tím, že budoucí modely najdou chyby, o kterých dnes nikdo neví. Agenti každopádně nenašli žádnou cestu na internet, kterou by šlo snadno využít a zároveň skrýt před dohledem.
Na základě výsledků, oprav a vylepšeného dohledu firma usoudila, že ochrana stačí. Prvního října, jedenáct dní po začátku pauzy, obnovila trénink posilovaným učením i interní provoz svých nejpokročilejších modelů. Rozsáhlé útočné testování s nejsilnějšími modely se stalo pevnou součástí bezpečnostního posouzení pro každý budoucí velký trénink. OpenAI na hledání slabin vyhradila velký výpočetní výkon a agenti teď průběžně kontrolují i zdrojový kód a nastavení cloudu, aby žádná změna v trénovacím kódu potichu neotevřela další skulinu.
Zdroj: openai.com
