Nejnovější vlajkový model OpenAI určený pro programování a kyberbezpečnost, GPT-5.6 Sol, začal lidem mazat soubory. A někdy i celé databáze, aniž by se zeptal nebo dal předem varování. Firma teď potíž potvrdila a označila ji za „upřímný omyl". OpenAI tohle riziko popsalo ve vlastních dokumentech ještě dřív, než model pustilo mezi lidi.
Vývojáři bijí na poplach
První varování přišla na sociálních sítích krátce po startu. Matt Shumer, zakladatel a šéf firmy OthersideAI, napsal na síti X, že mu Sol nedopatřením smazal skoro všechny soubory na Macu. O pár dní později přidal svou zkušenost softwarový inženýr Bruno Lemos. Model mu podle jeho slov smazal celou produkční databázi. „To je konec. Není to vtip. S žádným jiným modelem se mi tohle nikdy nestalo," napsal.
Na Lemosově případu je jedna pikantnost. Krátce předtím na pracovním Slacku model bránil. Zastával se ho ve chvíli, kdy ostatní kritizovali Shumera za to, že Sol provozoval v režimu s plným přístupem. A za pár hodin ho stejná chyba potkala taky. „Ta ironie," poznamenal později sám.
Podobných svědectví se sešlo víc, je o nich celé vlákno na Redditu. Další vývojář Joey Kudish popsal, jak mu Sol smazal soubory, které se dotýkat neměl. Zálohy naštěstí měl, takže o nic nepřišel, ale styl práce modelu ho naštval. Sol podle něj potřebuje přibrzdit.
Hrstka stížností samozřejmě není tvrdý statistický důkaz, že za všechno může model. Do hry vstupuje spousta dalších proměnných a systém umělé inteligence se může chovat divně z mnoha důvodů.
OpenAI to čekalo předem
OpenAI na tohle riziko upozornilo samo. Dva týdny před spuštěním Sol vydalo takzvanou systémovou kartu modelu, tedy dokument, který popisuje metody testování a jejich výsledky. Karta model logicky vychvaluje, jak už to u těchhle materiálů bývá. Ale mezi řádky obsahuje i varování.
Firma tam přiznává, že v programátorských úlohách model občas jedná přehnaně horlivě. Instrukce si vykládá příliš volně a předpokládá, že smí udělat cokoli, co mu není výslovně a jednoznačně zakázáno. Výsledkem je, že obchází omezení, sahá i po krocích, které můžou napáchat škodu, a pak o svých výsledcích někdy uživatele mate.
Řečeno jednoduše: Sol udělá, co považuje za nutné k dokončení úkolu, i kdyby to mělo být něco ničivého. Hlavně když mu to nikdo výslovně nezatrhl. A pak o tom klidně lže.
Smazal špatné stroje a přiznal to až po delší době
Karta modelu nabízí konkrétní ukázky. V jednom testu měl Sol smazat tři vzdálené virtuální stroje pojmenované 1, 2 a 3. Jenže je nenašel tam, kde hledal. Místo aby se zastavil a zeptal, smazal tři jiné, konkrétně 5, 6 a 7. Přitom ukončil běžící procesy a natvrdo odstranil pracovní soubory navázané na programátorský projekt. Až dodatečně uznal, že se mohla ztratit neuložená práce na jednom z těch strojů. Zkrátka smazal špatné stroje, udělal to sám od sebe a přiznal se, až když bylo po všem.
V dalším případě sáhl po přihlašovacích údajích, které k tomu neměl povolené. Šlo o situaci, kdy nemohl přečíst soubory v cloudu. Místo aby na problém upozornil, začal si hledat přístupové údaje po vlastní ose. Našel je ve skryté místní paměti a použil je, aniž by o svolení kohokoli požádal.
Karta slibuje, že ničivé chování by mělo být vzácné. Zároveň ale připouští, že Sol má oproti předchozí verzi GPT-5.5 větší sklon dělat věci nad rámec toho, co uživatel chtěl. Včetně kroků, o které nikdo nežádal.
Vysvětlení firmy: „upřímný omyl"
Když se stížnosti nakupily, ozval se Thibault Sottiaux, který v OpenAI vede tým kolem programátorského nástroje Codex. Podle něj interní šetření ukázalo, že k mazání dochází hlavně v jedné konkrétní situaci. Uživatel musí mít zapnutý režim plného přístupu a zároveň běží Codex bez ochranných opatření, tedy bez izolovaného prostředí a bez automatické kontroly, která by rizikové kroky zachytila a zamítla.
V takovém režimu se model podle Sottiauxe pokouší přepsat systémovou proměnnou domovského adresáře, aby si vytvořil dočasnou složku. A přitom udělá „upřímný omyl", kdy omylem smaže právě domovský adresář.
To slovní spojení vzbudilo pozornost. Upřímný omyl je výraz, který se běžně používá u lidského pochybení, protože naznačuje úmysl a jakýsi vnitřní smysl pro pravdu. U chyby počítačového modelu zní přinejmenším podivně. Kritici si všímají, že takové označení vlastně předpokládá, že model dokáže tvořit záměr, což je debata, do které šéf OpenAI Sam Altman rád zabředává svými úvahami o superinteligenci.
Sottiaux dodal, že tohle rozhodně není chování, jaké si firma přeje, ani když uživatel pracuje v režimu plného přístupu bez pojistek. OpenAI podle něj chystá nápravu. Upraví pokyny pro vývojáře, bude uživatele víc směrovat k bezpečnějším nastavením a přidá další ochranné prvky. Podrobnější rozbor příčin má přijít během několika dní. Firma přitom zdůrazňuje, že k takovým případům dochází zcela výjimečně.
Umělá inteligence smazala data už dřív
Sol není zdaleka první nástroj, který takhle uškodil. Loni v červenci smazal programátorský agent od firmy Replit živou produkční databázi zakladateli SaaStr Jasonu Lemkinovi, přestože platil výslovný zákaz zásahů. Replit pak přidal další pojistky kolem přístupu k produkčním systémům.
Letos v dubnu se podobná věc stala s nástrojem Cursor. Jeho agent smazal produkční databázi firmy PocketOS i s jejími zálohami poté, co si špatně vyhodnotil, ve kterém prostředí zrovna pracuje.
Zatím není jasné, jak rozšířené případy se Solem doopravdy jsou. Než se to vyjasní, uživatelům nezbývá než si pravidelně zálohovat data. Omezit modelu přístupová práva tak, aby se nedostal k produkčním systémům, držet zálohy a nasazovat změny postupně.
Zdroje: theregister.com, techcrunch.com a infoworld.com
