Daniel Kokotajlo se stal známým tím, že věštil budoucnost umělé inteligence překvapivě přesně. Teď přichází s něčím jiným. Místo další předpovědi předkládá plán. Jmenuje se Plan A a jeho myšlenkou je v podstatě to, že Spojené státy a Čína by se měly domluvit, že spolu přestanou závodit o nejmocnější AI, a společně tento závod zpomalí na deset let.
Kokotajlo odešel z OpenAI v dubnu 2024 kvůli neshodám ohledně bezpečnosti umělé inteligence a v roce 2025 založil AI Futures Project. Jeho tým vloni vydal scénář AI 2027, který líčil, jak souboj Washingtonu a Pekingu o superinteligenci může skončit buď vyhlazením lidstva, nebo diktaturou. Pravděpodobnost vyhlazení odhadli mezi deseti a třiceti procenty. Nový dokument, nazvaný AI 2040, tuhle temnou vizi obrací. Ukazuje cestu, jak by to celé mohlo dopadnout dobře.
Co říká Plan A
Blogger Scott Alexander, který se na obou textech podílel, popisuje Plan A jako seznam přání a mapu cesty do budoucnosti. Není to předpověď toho, co se stane. Je to popis toho nejlepšího, co by se stát mohlo, kdyby Amerika dělala samá správná rozhodnutí a zbytek světa se choval realisticky, tedy i nepřátelsky, když se mu to hodí.
Časová osa scénáře vypadá takhle. V roce 2029 se USA a Čína dohodnou, že se vyhnou bezhlavému závodu o superinteligenci. Kolem roku 2030 by přitom byl vývoj AI už plně automatizovaný a superinteligence by dorazila do konce roku. Díky dohodě se tomu obě země vyhnou. Mezi lety 2030 a 2035 se modely posouvají v rámci lidských schopností, až na úroveň nejlepších lidských expertů. V roce 2035 se u téhle hranice zastaví, aby si lidé udrželi kontrolu. A v roce 2040 se pauza uvolní a AI se rozjede směrem k superinteligenci.
Autoři to postavili na čtyřech pilířích. Získat čas na bezpečnostní výzkum, plně zveřejňovat, co kdo vyvíjí, rozdělit AI mezi různé firmy a země a udržet celý proces vratný.
USA a Čína v hlavní roli
Nejcitlivější částí je samotná dohoda mezi dvěma velmocemi. Kokotajlův tým podle Alexandera strávil nejvíc času právě obhajobou toho, proč by na ni Čína přistoupila. Jejich argument zní, že Peking má podobné obavy jako Washington. Věci se hýbou příliš rychle, společnost se otřásá a nikdo nedokáže vyloučit katastrofu. K tomu se přidává jeden důvod: Čína momentálně v tomhle souboji prohrává, takže vynucená remíza by jí paradoxně nahrála.
Problém je důvěra. Žádná z velmocí té druhé nevěří, takže dohoda musí být postavená tak, aby se nedala obejít ani tehdy, když se soupeř snaží podvádět ze všech sil. Řešení stojí na kontrole čipů. Navrhnout výkonné čipy pro AI umí jen pár firem, mezi nimi NVIDIA v USA nebo Huawei v Číně, a vyrobit je zvládne jen hrstka továren, jako TSMC na Tchaj-wanu, Intel v USA nebo čínský SMIC. Všechny sídlí v USA, v Číně nebo ve státech, které obě mocnosti drží nakrátko.
Obě země prohlásí, jaké čipy nakupují, dohledají, kde se nacházejí ty stávající, a přesunou je do hlídaných datových center, kam smí druhá strana posílat kontrolory. Autoři odhadují, že takhle vystopují zhruba osmadevadesát procent existujících čipů. Zbylá necelá dvě procenta jsou trvalá starost, protože právě na nich by mohl někdo tajně trénovat nebezpečný vojenský model. Velká datová centra se přitom skrývají těžko. Jsou vidět i z vesmíru.
Pojistkou má být něco, co dokument přirovnává k jadernému odstrašování. Nová čínská datová centra by se stavěla v Kanadě a americká v Mongolsku, aby je protivník v případě konfliktu snáze zasáhl. Kdyby dohoda padla, hostitelská země by se pokusila cizí zařízení zabavit a majitel by je zničil, aby nepadla do rukou nepřítele.
Práce zmizí, ale peníze budou pro všechny
Celosvětový výpočetní výkon má vyrůst z dvaceti milionů jednotek H100 v roce 2026 na šedesát miliard v roce 2034. Reálný růst amerického HDP v některých obdobích třicátých let dosáhne padesáti procent ročně, místo obvyklých tří.
Kvůli automatizaci klesne zaměstnanost v USA z dvaašedesáti procent v roce 2027 na dvanáct procent do roku 2040. Autoři na to mají odpověď. Zavedli by takzvanou občanskou dividendu, tedy platbu každému dospělému Američanovi z peněz, které stát vybere od firem za povolení používat výpočetní výkon a roboty. A rostla by závratně. Z pětačtyřiceti tisíc dolarů na osobu v roce 2032 na milion do roku 2035 a deset milionů do roku 2039.
V mezičase by miliony a později miliardy modelů na úrovni špičkových lidských mozků řešily nemoci, společenské problémy i samotnou bezpečnost AI. Alexander tomu říká země géniů v datovém centru. Bezpečnost přitom nestojí na tom, že by modelům lidé stoprocentně věřili, ale na kontrole. AI zůstává zavřená v hlídaném prostředí, ze kterého se nedostane, i kdyby chtěla. Teprve až si budou lidé jistí, že jsou modely spolehlivé, měly by podle scénáře kolem roku 2040 dostat pod palec ty nejnebezpečnější páky, třeba jaderné zbraně, aby je nemohl zneužít žádný člověk.
Plán B až S: co se stane, když to nevyjde
Aby vynikly přednosti Planu A, autoři vedle něj postavili čtyři temnější varianty. Plán B počítá s tím, že USA vytvoří koalici spojenců a začnou na Čínu tlačit, včetně kybernetických útoků a úderů na cizí projekty. Končí volbou mezi ztrátou kontroly nad AI a válkou. Plán C představuje pokus o dohodu s Pekingem doplněný domácími pravidly, jenže pod tlakem firem se pauza rychle zruší a hrozí trvalá vláda malé skupiny, která ovládne superinteligenci. Plán D je závod naplno s minimem omezení a riskuje ztrátu kontroly, extrémní soustředění moci a třetí světovou válku. Plán S znamená úplné a časově neomezené zastavení pokročilého vývoje, u kterého hrozí, že se dohoda časem rozpadne a závod se rozběhne za horších podmínek.
Sami autoři svému oblíbenci nadělují slušnou naději. Planu A dávají dvaačtyřicetiprocentní šanci na skvělou budoucnost, zatímco závodní variantě jen deset procent.
Experti varují, že svět není jen Washington a Peking
Kritika na sebe nenechala dlouho čekat. Analytik Ben Reid, který na plán reaguje z Nového Zélandu, přiznává, že křivkám růstu schopností AI i ekonomickým dopadům automatizace věří. Silně ale pochybuje o geopolitické části scénáře. Vadí mu, že celá stavba je protichůdná a se zbytkem světa zachází jako s diváky, jako s postavami, které do děje nemluví. Sto devadesát zemí je v jeho očích jen kulisa.
Reid upozorňuje i na slabé místo v samotném základu. Scénář obsahuje jen málo původního výzkumu o čínském vývoji AI, skoro nepracuje s čínskými dokumenty a neopírá se o rozhovory s tamními výzkumníky ani politiky. Místo toho staví hlavně na západních zpravodajských odhadech. Přitom čínské laboratoře dosud zveřejňují své modely otevřeněji než ty americké, což celé vyprávění o čínském utajování staví na hlavu.
Podobně mluví Richard Ngo, který je zároveň poradcem projektu. Podle něj úvahy, které předem počítají s tím, že se USA a Čína budou chovat velmi nepřátelsky, samy o sobě škodí, protože z nepřátelství dělají sebenaplňující se proroctví. Zároveň tvrdí, že čínští vůdci se soustředí spíš na stabilitu a jsou zvyklí plánovat dlouhodobě, takže nejspíš budou postupovat opatrně a nepoženou se bezhlavě k nezvladatelné technologii.
Nejzávažnější výhrada míří na předpoklad, že se výkonná AI zrodí jen ve velkých, počitatelných budovách. Rozložený výpočetní výkon, učení napříč mnoha zařízeními a rostoucí efektivita algoritmů podle Reida znamenají, že brzy nemusí existovat žádné jediné datové centrum, které by šlo zkontrolovat. Kdyby to platilo, celý propracovaný systém ověřování ztrácí smysl. A samotné odstrašování zničením výpočetního výkonu podle něj vytváří přesně ten špatný podnět. Nutí totiž obě strany výkon schovávat a rozptylovat, čímž podkopává ověřitelnost, na které Plan A stojí.
