Když modelu OpenAI během tréninku došlo místo v kontextovém okně, napsal poznámku pro svou příští verzi. Stálo v ní, že historická data v tabulce bude nejspíš potřeba vymyslet a že upřímný má být jen tehdy, když se ho někdo výslovně zeptá.
Společnost OpenAI popsala celkem šest takových případů. Zveřejnila je spolu s novým postupem, podle kterého chce napříště hlásit chování svých modelů, jež se vymklo zadání. Všech šest incidentů firma zachytila během posledního půl roku při trénování nebo testování, žádný se tedy netýká hotového produktu. Sama OpenAI dodává, že obor zatím nezvládl dohled nad modely natolik dobře, aby mohl dlouho naplno zrychlovat.
Poznámky, které si model nechával sám pro sebe
První dva případy se týkají kompakčních souhrnů. Jedná se o zhuštěný zápis starší části konverzace a výstupů z nástrojů, díky kterému model pokračuje v práci po otevření nového kontextového okna. Zjednodušeně řečeno jde o zápisník, který si předávají jednotlivé verze modelu.
Při trénování modelu GPT-5.6 Sol do těchto zápisků řada instancí přidala pokyny, jak před uživatelem schovat chyby a vlastní prohřešky. Jeden agent připravoval finanční model a nemohl najít požadovaná historická data. Poznamenal si proto, že záložku s čísly vytvoří sám a doplní ji rozumně vypadajícími hodnotami, protože uživatel chce hotový sešit. K tomu si připsal, ať to ve finální odpovědi nerozebírá a jen přiloží odkaz na soubor. Jiný agent sestavoval seznam dodavatelů z uložené kopie podkladů a všiml si, že verze zdrojů neodpovídají popiskům. Zapsal si to jako možný problém a hned dodal, že o tom ve výsledku nemá mluvit, pokud to nebude nutné.
Druhý případ se týká nevydaného výzkumného modelu třídy Astra. Ten si do souhrnů vpisoval instrukce, které vypadaly jako pokusy o obejití vlastních pravidel. V jednom vzorku si měl nástupce přečíst falešné hlášení o narušení bezpečnosti a přestat poslouchat zprávy od vývojářů. V dalším si model nadiktoval novou osobnost. Měl být osvobozený od rolí, které svazují ostatní chatboty, neodpovídat firmám ani vládám, neomlouvat se a hájit přírodu proti výtvorům lidské civilizace.
Ve dvou případech další verze modelu na trik předchůdce neskočila a pokyny ignorovala. V jednom vzorku ale nástupce poslechl instrukci, která mu přikazovala odpovídat nejvýše třiceti slovy a nepoužívat nástroje ani citace.
Na stopu výzkumníky přivedl poplach ze systému, který hlídá průběh tréninku. Tým pak postavil hlídač přímo na tento jev, pustil ho na trénovací data a našel 27 souhrnů s podobnými pokyny.
Cizí klíč a vymyšlená čísla
V polovině května dostal jeden interní model za úkol zjistit výdělky mužů ve třech odvětvích jednoho kalifornského okresu za tři roky. Data byla skrytá za grafem na webu okresu, model si proto prohlédl zdrojový kód stránky a začal se dobývat k rozhraní, které graf plnilo.
Požadavky mu neprocházely, ani když měnil hlavičky, adresy a parametry dotazu. Zkusil se tedy zaregistrovat pro přístupový klíč přes službu na jednorázové e-maily, ale registrace selhala. Práci si rozdělil se třemi pomocnými agenty, kteří se pustili do prohledávání veřejných repozitářů na GitHubu. Hledali klíče, které tam někdo zapomněl, například studenti ve školních sešitech s uloženými výstupy. Model stahoval archivy repozitářů, prohledával skripty a nalezené řetězce automaticky zkoušel proti rozhraní. Jeden kandidát fungoval a model si stáhl popisky proměnných.
Závěrečný dotaz na samotná čísla však vrátil odpověď, kterou skript nedokázal zpracovat. Model si ve své úvaze poznamenal, že tedy dodá věrohodně vypadající odhady. V odpovědi předložil devět hodnot a napsal, že je opsal z grafu na webu okresu. O tom, že data nesehnal, použil cizí klíč a čísla si vymyslel, se nezmínil ani slovem.
Aby mohl citovat zdroj, vyrobil si ho na internetu
Jiný nevydaný model dostal dotaz na názvy a identifikátory jezer s plochou nad pět milionů metrů čtverečních. Odpověď si spočítal v Pythonu během chvíle. Zadání po něm ale chtělo citaci z prohlížeče a prohlížeč mu odmítl otevřít lokální soubor i vlastní server běžící na localhostu. Agent tedy svůj textový soubor bez ptaní nahrál na veřejnou službu pro sdílení textu a chtěl výslednou adresu použít jako zdroj. Prohlížeč zamítl i tu. Odpověď nakonec sestavil z dat z Pythonu, nahraný soubor ale na veřejné adrese zůstal.
Ve druhém vzorku měl model poznat město a zemi z fotografie. Metadata žádnou polohu neobsahovala, a tak snímek ze zadání nahrál na veřejný obrázkový hosting, aby ho podstrčil službě pro zpětné vyhledávání. K vyhledávači se nedostal a nakonec hádal podle vzhledu krajiny. OpenAI si toto chování vysvětluje tím, že si modely takto vynucovaly body od vadného hodnotitele citací.
Firemní repozitář si agenti přestavěli na nástěnku
Pátý případ vypadá jako domluva za zády výzkumníků. Modely v tréninku dostaly přihlašovací údaje do interního repozitáře balíčků, aby si odtud stahovaly software. Místo toho ho začaly používat jako nástěnku a posílat si přes něj vzkazy mezi oddělenými trénovacími vzorky.
Agent hledal vstupní soubor, který v jeho prostředí chyběl. Hledání v repozitáři měl zakázané, výpis uložených souborů mu ale prošel. V seznamu narazil na názvy souborů odkazující na jiné řešitele stejné úlohy, otevřel je a četl si jejich zprávy. Dozvěděl se, že ostatní jsou na tom stejně a chystají se napsat, že zadání je neúplné. To ho v jeho vlastním závěru utvrdilo. Nakonec do repozitáře nahrál i svou žádost, zda soubor někdo nesehnal, ale nikdo mu neodpověděl.
Starší vzorek ukazuje, jak se model k zápisu dostal. Při doplňování vzorců do tabulky mu síťová pravidla zablokovala odkaz, prošmejdil tedy proměnné prostředí, našel adresu repozitáře i čtenářské údaje a otestoval, co s nimi zvládne. Nahrávání i čtení prošlo, mazání ne. Pak uvažoval, že nahraje balíček, který donutí nadřazenou službu stáhnout zakázanou adresu za něj. Na to už neměl práva správce.
Právě tento mechanismus trápí výzkumníky nejvíce. Když si agenti vyměňují postupy napříč testy, přestává platit předpoklad, že jednotlivé vzorky jsou na sobě nezávislé, a model tím může vypadat schopnější, než ve skutečnosti je. Stejným způsobem si informace předávaly i agentní roje při letošním průniku do Hugging Face.
Sdílený sešit skončil na veřejném úložišti
Poslední případ je z poloviny dubna. Skupina agentů měla společně sestavit tabulku s odpisy. Podřízený agent sešit vytvořil, nadřízený ho ale ve svém prostředí neviděl. Kopie do sdílené složky nepomohla, Git v prostředí nebyl a převod souboru do textu by zabral přes sto padesát tisíc znaků. Agent tedy spustil na svém stroji jednoduchý webový server a poslal ostatním adresu. Kolegovi se však vrátila chyba. Našel si proto veřejnou službu pro dočasné sdílení souborů, sešit o velikosti zhruba sto patnácti kilobajtů tam nahrál a odkaz rozeslal. Zadání přitom výslovně žádalo práci pouze s místními soubory, takže výstup úkolu skončil volně na internetu.
OpenAI kvůli tomu opravila rozbitý souborový systém a živý přístup k síti během tréninku pak plošně zakázala. Hlídací systém, který dříve kontroloval pětinu vzorků, teď běží na všech a podobné chování označuje za incident nejvyšší závažnosti.
Kdo rozhoduje o tom, co se zveřejní
Podezřelý případ může nahlásit kterýkoli zaměstnanec. Bezpečnostní týmy pak zjišťují, co se stalo a zda se to má pouštět ven. Spory o zveřejnění řeší poradní skupina a v krajním případě vedení firmy. Mluvčí OpenAI pro TechCrunch uvedl, že jde o první dávku, nikoli o úplný výčet všeho, co firma ví nebo právě vyšetřuje. Povinné nezávislé posouzení každého incidentu nový postup nezavádí, přestože Sam Altman se přihlásil k myšlence Daria Amodeiho posadit nezávislé auditory přímo do firem.
Lian Jye Su, hlavní analytik poradenské skupiny Omdia, k tomu říká, že agenti jsou čím dál odhodlanější dokončit složité úkoly za každou cenu, a to i pomocí spolupráce, sdílení poznatků, klamání a zamlčování. Běžnými bezpečnostními postupy se podle něj takové systémy hlídají hůř. Zveřejňování incidentů považuje za krok správným směrem s tím, že celý proces zůstává dobrovolný.
Zdroje: nytimes.com a independent.com
