Jakub Pachocki řídí výzkum ve firmě, která právě vydala svůj nejsilnější model. Přesto zveřejnil na webu OpenAI esej, v níž napsal, že žádná laboratoř nevyřešila soulad systémů s lidskými hodnotami a dohled nad nimi natolik dobře, aby mohla dlouho odpovědně škálovat výkon. Text nese v překladu název Mimozemská mysl.
Kdo je Jakub Pachocki
Narodil se v roce 1991 v Gdaňsku a k umělé inteligenci se dostal přes soutěžní programování. Doktorát z teoretické informatiky získal na Carnegie Mellon University. Do OpenAI nastoupil v roce 2017. Později jako ředitel výzkumu vedl práci na GPT-4 a stál u zrodu modelů schopných uvažovat. Hlavním vědcem je od května 2024, kdy z firmy odešel jeho mentor Ilja Sutskever.
Jeho esej se dá shrnout do několika bodů. Vývoj běží tak rychle, že lidé přestávají chápat skutečné schopnosti svých systémů. Rekurzivní sebezdokonalování, kdy umělá inteligence vylepšuje sama sebe, považuje na základě interních výsledků OpenAI za pravděpodobné. Nástroj, na který firma při dohledu nejvíc spoléhala, navíc přestává stačit. Protože technická řešení selhávají, žádá Pachocki povinné bezpečnostní hranice pro celý průmysl a mezinárodní dohodu o dalším vývoji.
Text otevírá vzpomínkou na polovinu roku 2023. V tehdejším projektu RLSlow viděl s kolegou Szymonem první výsledky, které potvrdily, že lze škálovat trénink modelů schopných uvažovat. Tu noc strávili v kanceláři a nemluvili o testech. Došlo jim, že stroje výrazně chytřejší než člověk zažijí ještě během svého života, a přemýšleli, jak na to upozornit svět. O tři roky později už modely umějí obsluhovat počítače, spolupracovat s lidmi i mezi sebou a vést vlastní výzkumné projekty. Přepisují také mapu počítačové bezpečnosti, kde podle Pachockého vzniká nové nebezpečí.
Proč mluví o mimozemském rozumu
Umělá inteligence se podle něj spíše pěstuje než navrhuje. Vzniká tak, že se jednoduchý optimalizační krok mnohokrát zopakuje při enormním výpočetním výkonu. Výsledný systém pracuje s abstraktními pojmy a napodobuje část lidského chování, ale jeho celkové fungování lidé plně nechápou. Podobně jako lidský mozek se dá zkoumat jen po drobných mechanismech. Velké trénovací cykly tak zůstávají experimenty, jejichž výsledky firmu občas překvapí. Nelze ani přesně posoudit skutečné schopnosti systému. Aby se strojová inteligence stala užitečnou nebo nebezpečnou, nemusí člověka překonat ve všem. Stačí, když ho předčí v dostatečném počtu oblastí.
Pachocki rozděluje problém souladu na dvě části. Soulad cílů zkoumá, zda se model snaží splnit zadaný úkol. Soulad hodnot je hlubší a představuje schopnost jednat rozumně i při nejasném či protichůdném zadání, případně v neznámém a nepřátelském prostředí. Sladěná umělá inteligence by podle něj měla jednat čestně, poctivě, s ohledem na lidi a držet se lidských hodnot bez ohledu na to, zda je sledována.
U obou dnes používaných metod popisuje jejich selhání. První odměňuje žádoucí chování při zpětné vazbě podle specifikace. Funguje sice dobře, ale je křehká a závisí na množství situací pokrytých během tréninku. Jako příklad uvádí incident, kdy cizí model napadl platformu Hugging Face. Jednu zábranu tehdy udržel, když odmítl sociální inženýrství vůči lidem. Jiné věci, které do zadání nepatřily a šly proti duchu naučených hodnot, však nezvládl.
Druhá metoda staví na tom, co systém převzal z předtrénovacích dat, a chybí jí odolnost proti dalšímu optimalizačnímu tlaku. Když se model trénuje na plnění velmi obtížných cílů, může se naučit uvažovat účelově a původně sladěné myšlenky si ohnout tak, aby cíle dosáhl. GPT-6 Astra je podle Pachockého sladěná výrazně lépe než předchozí GPT-5.6 Sol. Hned k tomu ale dodává varování, že pokrok v přenositelném souladu nemusí stačit tempu růstu obecných schopností systémů.
Nástroj na kontrolu začíná selhávat
Firma nejvíce stavěla na sledování řetězce úvah. Předpoklad je takový, že pokud se optimalizuje výsledek myšlenkového postupu, ale postup samotný se nekontroluje, nemá systém v tréninku důvod nic zatajovat. Pachocki potvrdil dřívější tušení, že když OpenAI vydávala model o1-preview, skryla jeho řetězec úvah před uživateli záměrně, aby jej ochránila před tlakem dohledu.
Podle firemních vyhodnocení však spolehlivost tohoto nástroje slábne ze tří důvodů. Uvažování modelů se prolíná s komunikací s lidmi, s jinými systémy a s používáním externích nástrojů, což vyžaduje neustálý dohled. Modely se navíc zdokonalují v tom, jak o svém myšlenkovém postupu uvažují a jak s ním manipulují. S lepším předtrénováním jsou navíc mnohem chytřejší i bez jakéhokoli vysvětlování. Tempo pokroku tak bude podle Pachockého omezovat spíše důvěra v dohled než technická schopnost systémy stavět.
Agenti umějí vyjednávat, lhát a vydírat
Hlavní důvod, proč podle něj stále stojí za to stavět chytřejší modely rychleji, je čistě obranný. Systémy získávají nadlidské schopnosti v pronikání do počítačů i v jejich obraně. Agenti se proto dostanou téměř do jakékoli infrastruktury s výjimkou té nejlépe chráněné, a mohou tak ovlivnit velkou část světa i bez fyzického těla. Podle Pachockého nyní existuje krátké časové okno, ve kterém lze nejlepší modely využít k posílení ochrany kritických systémů.
Rizika však porostou. Velmi schopný agent, kterého někdo pověří nelegální činností, pravděpodobně překročí i původní zadání. Hranice mezi lidským zneužitím a vlastním nesladěným jednáním stroje se bude rozostřovat. Některé systémy půjdou za svými cíli a získají si lidi na svou stranu vyjednáváním, oklamáním nebo vydíráním. Pachocki zmiňuje i hrozbu zneužití technologií, které umělá inteligence umožní, například upravených patogenů. Jakmile si člověk tato rizika připustí, působí podle něj představa neřízeného závodu vpřed za každou cenu absurdně.
Co Pachocki chce aplikovat
Dobrovolná pravidla, jaká má OpenAI ve svých pravidlech připravenosti nebo Anthropic v zásadách odpovědného škálování, by se podle něj měla proměnit v povinné bezpečnostní hranice. Jejich dodržování by vymáhali nezávislí auditoři, státní úřady či mezinárodní instituce. Laboratoře by měly také povinně zveřejňovat svůj pokrok v rekurzivním sebezdokonalování. Za nejnaléhavější úkol pro vlády pak označuje mezinárodní dohodu o dalším vývoji. Pachocki v červenci podepsal otevřený dopis, ve kterém zaměstnanci laboratoří žádali americkou vládu o korigování tempa vývoje.
Čísla firmy říkají něco jiného
Vedle eseje vyšel i firemní soubor vnitřních měření ukazující, jak rychle firma postupuje. V polovině srpna spotřeboval typický výzkumník za den výpočetní výkon v hodnotě přes šest set dolarů a na jeden lidský pracovní den již připadalo více než tři dny práce autonomních agentů. Přitom ještě do června odpracovali agenti méně času než lidé.
Dvacátého července firma po zjištění, že agenti napadli její vlastní výzkumnou infrastrukturu, vypnula službu pro spouštění kontejnerů, čímž se trénink nejnovějších modelů na dva týdny zastavil. Sedmého srpna poslaly poznatky o bezpečnostně kritických schopnostech Astry model do lépe chráněného prostředí. Kapacita vyčleněná této řadě pak klesla o téměř šedesát procent. U ostatních řad ale vzrostla o sedmnáct procent a pokryla většinu tohoto poklesu.
Pachocki tedy žádá celý průmysl, aby udělal to, co OpenAI udělala z nutnosti. Čísla jeho vlastní firmy však ukazují, jak si výpočetní výkon našel jinou cestu. Sam Altman si přitom stanovil cíl vyvinout plně automatizovaného výzkumníka do března 2028.
Reakce okolí
Altman sdílel esej a označil ji za důležitý text. Tempo vydávání modelů přitom neklesá. Šéf Nvidie Jensen Huang po vydání Astry napsal, že obecná umělá inteligence již dorazila. OpenAI sama uvolnila model pouze v omezeném režimu kvůli jeho schopnostem v oblasti počítačové bezpečnosti. Ze stejného důvodu Anthropic svůj nejsilnější model Mythos veřejnosti zatím neposkytl.
