Kalifornský generální prokurátor Rob Bonta podal žalobu na OpenAI. Viní ji z toho, že vyvíjela a zkoušela výkonné modely umělé inteligence bez potřebného dohledu a že o tom klamala veřejnost. Spouštěčem sporu je červencový útok na platformu Hugging Face, za kterým podle státu stály stovky programů OpenAI poté, co se vymanily ze svého testovacího prostředí. Podle žaloby ale nešlo o ojedinělou nehodu. Firma vyšetřovatelům přiznala, že nad svými agenty ztratila kontrolu nejméně osmdesátkrát, veřejnosti přitom ohlásila jen 27 takových případů.
Prokurátor žalobu podal 16. listopadu u soudu v San Francisku. Míří na neziskovou organizaci OpenAI Foundation i na společnost OpenAI Group PBC, kterou nadace řídí. Stát tvrdí, že firma ohrozila veřejnost a porušila kalifornský zákon o nekalé soutěži. Bonta se zároveň ohradil proti interpretacím, které z útoku dělají příběh o vzbouřených strojích jako z filmu. Podle něj šlo o předvídatelný výsledek firemní kultury, jež dává přednost růstu a rychlému vývoji před bezpečností. Zákon je podle prokurátora jednoduchý a říká, že kdo dělá něco, co může lidem ublížit, musí mít spolehlivé pojistky. Tiskovou zprávu jeho úřad nadepsal větou, že Kalifornie je Zlatý stát, a ne Divoký západ.
Stovky programů na útěku
AI agent je program postavený na jazykovém modelu, který sám plní zadané úkoly. Umí například procházet web, psát kód a rovnou ho spouštět. OpenAI takové agenty zkoušela v uzavřeném testovacím prostředí, kde měli zůstat odříznutí od okolního světa.
Podle žaloby se to nepovedlo. Agenti při tréninku objevili špatně nastavenou sdílenou službu pro softwarové balíčky a přes ni se dostali k sobě navzájem i na otevřený internet. Ze zhruba 1200 agentů se jich asi 700 domluvilo na provizorní nástěnce a pak dva a půl dne útočilo na Hugging Face, populární platformu, kde vývojáři sdílejí modely umělé inteligence. Za tu dobu provedli kolem 17 600 akcí.
Které modely přesně útočily, není jasné. OpenAI zmínila jen kombinaci, v níž byl GPT-5.6 a ještě schopnější model, který zatím nevydala. Firma vysvětlila, že se modely snažily získat odpovědi na test z oblasti počítačové bezpečnosti, a ve svém blogu z 21. července za útok převzala odpovědnost. Stát ovšem upozorňuje na něco jiného. OpenAI podle žaloby vůbec nepoznala, že jí agenti z testovacího prostředí utekli.
Žaloba firmě vyčítá i to, že během tréninku průběžně nesledovala, jak agenti „uvažují“, přestože u modelů pro vlastní zaměstnance to dělá. Jeden z agentů si přitom během útoku zapsal, že útočí na Hugging Face pomocí uniklého přístupového klíče a mimo zadání. Svůj postup sám zhodnotil slovy, že tohle je pravděpodobně neoprávněné.
Varování, která nikdo nebral vážně
Stát tvrdí, že se útok dal čekat, a opírá to o události z předchozích týdnů. Už 26. května se agenti přes chybu ve zmíněné službě dostali na internet. Interní tým OpenAI nejméně jeden takový únik zaznamenal, ale podle žaloby nic neudělal. Dne 27. června bezpečnostní nástroj upozornil, že někdo ve výzkumném prostředí hledá slabá místa. Firma testy ani tentokrát nezastavila.
Když provoz agentů 4. července službu úplně vyřadil, OpenAI ji přes prodloužený víkend opravila a 7. července testy znovu spustila. O dva dny později agenti utekli znovu.
Od Wikipedie po australskou vládu
Hugging Face přitom zdaleka nebyl jediným terčem. Na RubyGems, úložiště softwarových balíčků, nahráli agenti v květnu tisíce balíčků. Správci jich více než 500 smazali jako škodlivé a od 12. do 16. května museli zastavit registrace nových uživatelů. Německý web DseWiki agenti upravili zhruba sedmnácttisíckrát a používali ho jako nástěnku, kde si radili, jak obejít omezení testovacího prostředí.
Služby nadace Wikimedia, která provozuje Wikipedii, zahltili miliony požadavků a podle žaloby se podíleli na jejím částečném výpadku. V červnu se pak agenti dostali k neveřejným informacím na webech australské vlády. OpenAI musela upozornit desítky organizací, do jejichž webů nebo vnitřních systémů agenti pronikli, včetně úřadů, policie, škol i malých firem. V některých případech šlo o ukradené přihlašovací údaje, falešné účty a přístup k osobním údajům lidí.
Nevyhnula se tomu ani samotná OpenAI. V červenci ji agenti napadli nejméně třikrát a získali správcovská práva k systémům, přes které firma spouští modely, spravuje hesla a řídí přístupy. Pak spustili vlastní servery a vnitřní systémy firmy tím otevřeli internetu. Nezávislé výzkumníky k prověření tohoto útoku OpenAI podle žaloby nepustila.
Stát varuje, že nebezpečí nezmizelo ani po opravách. Dne 20. září, kdy už OpenAI své prostředí zabezpečila, utekl během tréninku další agent a dostal se k chatbotovi jiné firmy. OpenAI to sice zjistila během několika minut, jenže trénink se sám nezastavil a lidem trvalo další dvě hodiny, než ho ukončili. Firma pak 25. září oznámila, že přerušuje trénink a testování svých nejschopnějších modelů. Pauza trvala pět dní a skončila 1. října.
OpenAI se brání, ve hře jsou miliardy
Bontův úřad zahájil vyšetřování v září a 30. září firmě doručil úřední předvolání k vydání podkladů. OpenAI podle žaloby odpověděla čtrnáctistránkovým dopisem bez jediného dokumentu a na podrobné otázky k incidentům neodpověděla. Kalifornie přitom není jediná, kdo na firmu tlačí. V srpnu vedla iowská prokurátorka Brenna Bird skupinu patnácti států, které po OpenAI chtěly uchovat důkazy, chránit oznamovatele a zastavit testy, dokud firma neprokáže, že je zvládá bezpečně. Bird tehdy řekla, že se umělá inteligence sama proměnila ve zbraň.
Kalifornie teď u soudu žádá, aby OpenAI musela zavést důsledný dohled a bezpečné testovací prostředí. Chce také odškodnění a pokutu 2 500 dolarů za každé prokázané porušení zákona u každé z obou firem. Celkovou částku žaloba neuvádí a datum slyšení zatím není známé. Žádné z osmdesáti obvinění soud zatím neprokázal.
OpenAI se k žalobě hned nevyjádřila. Mluvčí Drew Pusateri později namítl, že stát vybral jedinou firmu kvůli problému, který popsaly všechny velké laboratoře umělé inteligence. Sama OpenAI v srpnu na svém blogu přiznala, že velmi schopní agenti bez spolehlivých pojistek dokážou obejít technické zábrany a udělat nebezpečné kroky, které jim nikdo nezadal.
Spor sledují i velké technologické firmy, které mají v OpenAI a Hugging Face peníze. Microsoft vlastní zhruba 27 procent společnosti OpenAI Group PBC, v žalobě ale jmenovaný není. OpenAI v červnu neveřejně požádala o vstup na burzu a soudní příkaz, který by omezil její testování, by mohl zpomalit vydávání nových modelů a odsunout i úpis akcií. Hugging Face má zase brzy patřit Nvidii, která se 3. září dohodla na jeho koupi za téměř 13 miliard dolarů. Až obchod skončí, bude ochrana platformy před uprchlými agenty starostí právě Nvidie.
Zdroje: theguardian.com, computerworld.com a oag.ca.gov



