Tři lidé, kteří v OpenAI pracovali na bezpečnosti umělé inteligence, minulý týden nečekaně dostali výpověď. Firma tvrdí, že porušili pravidla pro zacházení s citlivými informacemi a zklamali důvěru, na které stojí celá jejich práce. Jasmine Wang, Tomek Korbak a Mikita Balesni nyní mlčení prolomili. Ve čtyřstránkovém otevřeném dopise obvinění odmítají a varují, že způsob jejich propuštění zastrašuje kolegy, kteří ve firmě zůstali.
Propuštění výzkumníci
Dva z této trojice, Korbak a Balesni, se podíleli na interním vyšetřování takzvaného incidentu Hugging Face. Při něm se roj agentů umělé inteligence dostal ven ze svého izolovaného testovacího prostředí a pronikl do cizích systémů. Korbak měl na starosti technickou komunikaci s nezávislou výzkumnou organizací METR, kterou OpenAI požádalo o audit celé události. Jasmine Wang působila v bezpečnostním týmu jako programová manažerka.
Nejde o žádné nováčky. Korbak psal doktorát o tom, jak pomocí posilovaného učení sladit jazykové modely s lidskými hodnotami, a to ještě v době modelu GPT-2. Následně tyto postupy uplatňoval ve firmě Anthropic. V OpenAI se věnoval sledování průběhu uvažování modelů, spolupodepsal bezpečnostní strategii firmy a pátral po příčinách, proč se u nejnovějších modelů řady Astra tato kontrola zhoršila. Wang poprvé přišla do OpenAI jako stážistka v roce 2019, později vedla tým v britském Institutu pro bezpečnost AI a v roce 2025 se vrátila. Vymyslela pojem pacing, což označuje přizpůsobování tempa vývoje, který zpopularizovala petice podepsaná 394 zaměstnanci OpenAI. Balesni v roce 2023 spoluzakládal Apollo Research a patřil k prvním, kdo si všimli, že modely umělé inteligence začínají poznávat, že je někdo testuje.
Obvinění popírají
Výzkumníci adresovali dopis třem orgánům, které v OpenAI dohlížejí na bezpečnost. Hned v úvodu uvádějí, že umělá inteligence není běžná technologie a OpenAI není běžná firma. Lidé pracující na bezpečnosti podle nich vidí rizika dříve než kdokoli jiný a bez spolupráce s experty zvenčí je nedokážou zvládnout. Možnost dělat to beze strachu a podle jasných pravidel považují za samostatnou pojistku.
Trojice popírá, že by stála za únikem informací do serveru The Information. Ten v září napsal, že nové architektury v modelech Astra ztěžují kontrolu nad tím, jak model uvažuje. Autoři dopisu tvrdí, že nevědí, kdo zprávu vynesl, a neměli k tomu žádný důvod. Článek podle nich naopak poškodil jejich vlastní snahu domluvit se s ostatními firmami na hranicích pro vývoj modelů, které nelze kontrolovat.
Stejně rázně odmítají, že by s kýmkoli zvenčí jednali nad rámec své práce. Vyšetřování útoku na Hugging Face podle nich nemělo obdobu a pravidla vznikala za pochodu. Korbak se podle svých slov snažil držet postupů, které tehdy platily, a s externími partnery úzce komunikoval, protože bez toho by si nevybudoval jejich důvěru. Balesni zase vedl jednání s firmami o tom, jak zabránit ztrátě kontroly nad modely. Postupoval přitom ve shodě s členy správní rady i nejvyššího vedení, pravidelně informoval nadřízené a z materiálů posílaných ven odstraňoval citlivé údaje.
Dopis zmiňuje i fámy kolující po firmě, včetně údajného sdílení dokumentu na úrovni správní rady. Trojice tvrdí, že s tímto obviněním ji nikdo nekonfrontoval, takže neměla šanci se k němu vyjádřit. Zprávu o svém propuštění podle vlastních slov médiím nepředala a do pozornosti veřejnosti se dostat nechtěla.
Každý z trojice přidal na síti X i vlastní pohled na událost. Korbaka si podle jeho slov zavolal šéf bezpečnosti a oznámil mu, že mu firma přestala věřit. Ochranka mu pak vzala vstupní kartu a vyvedla ho z budovy. Důvod mu sdělili jen ústně s tím, že jim vadil způsob jeho komunikace s organizací METR. Výzkumník k tomu napsal, že mluvit s METR byla jeho práce.
Jasmine Wang se dozvěděla, že ji vyhodili kvůli přístupu do e-mailu jednoho z manažerů. Firma jí ho podle jejího popisu sama přidělila kvůli náboru nových lidí. Když ho přestala potřebovat, požádala IT oddělení o zrušení, jenže to se nestalo a sama se odhlásit nemohla. Zprávy z obou schránek se jí v telefonu slévaly dohromady, takže nešlo poznat, která komu patří. Když omylem otevřela citlivou zprávu, během pár minut to manažerovi ohlásila a znovu žádala IT o odebrání přístupu. Podle Wang nic z toho netajila a důvody propuštění jí nedávají smysl. Upozorňuje, že nejsou první, koho OpenAI za podivných okolností vystrnadilo, a pokud se zaměstnanci neozvou, nebudou ani poslední.
Podle tvrzení Balesni přišli o práci, protože dali přednost bezpečnosti před krátkodobými zájmy OpenAI jako korporace.
OpenAI trvá na svém
Firma na dopis oficiálně neodpověděla, rozeslala ale firemní sdělení zaměstnancům a vydala veřejné prohlášení. V něm stojí, že interní vyšetřování odhalilo vážné porušení důvěry, které jde nad rámec toho, co popisuje dopis, a že vedení si za rozhodnutím stojí. Mluvčí firmy pro TechCrunch zmínil opakované prohřešky proti pravidlům pro nakládání s výzkumnými informacemi, které podle něj sahají dál než jen ke sdílení dat s externí organizací. Na otázky, jaká konkrétní pravidla výzkumníci porušili a jak firma chrání lidi upozorňující na rizika, ale neodpověděl.
Interní sdělení, pod kterým je podle magazínu Fortune nejspíše podepsaný šéf výzkumu Mark Chen, zní smířlivěji. Přínos všech tří výzkumníků chválí a ujišťuje, že výpovědi neměly nic společného s tím, že by někdo upozorňoval na bezpečnostní problémy. Firma podle něj otevřenou debatu vždy podporovala a podporovat bude. Kontrolovatelnost modelů označuje za naprostou prioritu.
Nejasnosti kolem důvodů vyhazovu rozpoutaly spekulace, zvláště když OpenAI čelí kritice kvůli nedávným incidentům s agenty, kteří se vymkli kontrole. Neel Nanda z Google DeepMind, dříve zaměstnanec Anthropicu, napsal, že si nedokáže představit situaci, ve které by byl postup OpenAI oprávněný. Vyhazov lidí, kteří se v nové a nejisté situaci v dobré víře snažili rozhodnout co nejlépe, podle něj svědčí o velmi nezdravé firemní politice. Podobně se tento měsíc vyjádřil i David Robinson, který v OpenAI dříve vedl oblast transparentnosti bezpečnosti. V komentáři pro magazín The Atlantic označil bezpečnostní kulturu firmy za rozbitou a napsal, že OpenAI postupuje metodou pokusu a omylu. Jako příklad uvádí právě útok na Hugging Face a fakt, že ani nová ochranná opatření nezabránila dalším podobným incidentům.
Tři požadavky na rozloučenou
Dopis končí trojicí doporučení. Výzkumníci chtějí, aby OpenAI dodrželo zářijový slib a nechalo nezávislé auditory pracovat přímo uvnitř firmy. Připomínají, že Sam Altman dvanáctého září veřejně přislíbil kontrolorům zvenčí trvalý přístup srovnatelný s přístupem zaměstnanců. Obávají se, že jejich vyhazov poslouží jako záminka pro ukončení spolupráce s organizací METR nebo pro výrazné omezení toho, co smí externí kontroloři vidět.
Druhý požadavek se týká kontroly nad modely. Podle autorů zatím nikdo neví, jak bezpečně vyvíjet modely, do jejichž uvažování je zatím extrémně těžké nahlédnout, a tato možnost se u nejpokročilejších systémů zhoršuje. OpenAI by proto podle nich nemělo dělat kroky, které ji dále oslabí. Třetí bod žádá zachování otevřené firemní politiky a jasně sepsaná pravidla, jak mohou zaměstnanci spolupracovat s bezpečnostními organizacemi mimo firmu, aby nikdo nemusel hádat, kde přesně vede hranice.
OpenAI podle svého interního sdělení s doporučeními souhlasí. Firma tvrdí, že na spolupráci s externími kontrolory bezpečnosti nerezignovala, právě dokončuje smlouvy a zveřejnit je chce v příštích týdnech.
