Dario Amodei, generální ředitel společnosti Anthropic, jedné z největších firem zabývajících se umělou inteligencí, vydal rozsáhlou esej s názvem "Adolescence technologie" (Technologie pro dospíván), ve které varuje před nebezpečím rychlého vývoje AI. Tento text navazuje na jeho loňskou esej "Stroje láskyplné milosti", která se zaměřovala na pozitiva technologie. Tentokrát však Amodei přichází s varováním, které by mělo probudit celou civilizaci.
Země géniů v datovém centru
Amodei ve své 38stránkové eseji používá opakovaně metaforu "země géniů v datovém centru". Představte si 50 milionů lidí, z nichž každý je schopnější než jakýkoliv nositel Nobelovy ceny, státník nebo technolog. Tyto AI systémy by mohly operovat stokrát rychleji než lidé – na každou naši kognitivní akci by mohly provést deset vlastních. Podle Amodeiho by taková situace představovala "jednu z nejzávažnějších hrozeb národní bezpečnosti za poslední století, možná vůbec".
Amodei věří, že takto výkonná AI by mohla být vzdálená pouhé 1 až 2 roky, i když připouští, že to může trvat i déle. Tato predikce vychází z pozorování "škálovacích zákonů" AI systémů, které Amodei a jeho spoluzakladatelé z Anthropic jako první zdokumentovali. Tyto zákony ukazují, že s přidáním většího výpočetního výkonu a trénovacích úloh se AI systémy předvídatelně zlepšují v každé kognitivní dovednosti, kterou jsme schopni měřit.
Pět hlavních kategorií rizik
Amodei identifikuje pět klíčových oblastí rizik. První jsou rizika autonomie – co když AI systémy získají vlastní cíle a motivace, které nebudou v souladu s lidskými hodnotami? Druhá kategorie zahrnuje zneužití pro destrukci, kdy by jednotlivci nebo malé skupiny mohly využít AI k vytvoření biologických zbraní nebo jiných nástrojů masového ničení. Třetí riziko představuje zneužití pro uchopení moci, kdy by diktátoři nebo zkorumpované korporace mohly využít AI k získání dominantní pozice nad světem.
Čtvrtá kategorie se týká ekonomických otřesů. I když by AI nebyla bezpečnostní hrozbou, mohla by způsobit masovou nezaměstnanost nebo radikální koncentraci bohatství. Amodei předpovídá, že v rozmezí 1 až 5 let by AI mohla převzít až 50 % vstupních pozic v kancelářských profesích. Pátá kategorie zahrnuje nepřímé efekty – svět se změní velmi rychle kvůli nové technologii a produktivitě, což může být radikálně destabilizující.
Biologické hrozby a zrcadlový život
Zvláště znepokojivé je Amodeiho varování před biologickými riziky. Obává se, že výkonné jazykové modely by mohly umožnit i průměrně vzdělanému člověku vytvořit a uvolnit biologickou zbraň. V roce 2024 skupina významných vědců napsala dopis varující před rizikem výzkumu "zrcadlového života" – nového typu organismu, který by mohl být pro existující enzymy nestravitelný a v nejhorším případě by mohl zničit veškerý život na Zemi.
Amodei poznamenává, že modely Claude od Anthropicu již v polovině roku 2025 poskytovaly "podstatné zlepšení" v několika relevantních oblastech, možná zdvojnásobily nebo ztrojnásobily pravděpodobnost úspěchu. To vedlo k rozhodnutí, že Claude Opus 4 a následující modely musí být vydány pod ochranou AI Safety Level 3 v rámci jejich politiky odpovědného škálování. AI Safety Level 3 označuje úroveň zabezpečení pro modely, které již představují významné riziko zneužití k vyvolání katastrofálních škod.
Kritika průmyslu a regulaci
Amodei ostře kritizuje některé AI společnosti za nedbalost. Zmiňuje, že některé firmy projevily "znepokojivou nedbalost vůči sexualizaci dětí" v dnešních modelech, což ho vede k pochybnostem, zda budou schopny řešit rizika autonomie v budoucích modelech. Varuje, že komerční závod mezi AI společnostmi se bude jen zostřovat, což ztíží zaměření na řešení rizik autonomie.
Podle Amodeiho je jediným řešením legislativa – zákony, které přímo ovlivní chování AI společností. Podporuje transparentní legislativu, jako je kalifornský SB 53 a newyorský RAISE Act, které vyžadují, aby každá přední AI společnost dodržovala transparentní praktiky. Tyto zákony se nevztahují na menší společnosti s ročními příjmy pod 500 milionů dolarů (přibližně 11,5 miliardy korun).
Paradox varování
Ironií celé situace je, že Amodei vydal své varování ve stejný den, kdy Anthropic představil aktualizaci svého chatbota Claude s rozšířením MCP. Společnost nedávno také vydala model Claude Opus 4.5 se zaměřením na kódování a automatizaci. Amodei tak stojí v pozici, kdy varuje před technologií, kterou jeho společnost aktivně vyvíjí a prodává.
"Věřím, že pokud budeme jednat rozhodně a opatrně, rizika lze překonat – dokonce bych řekl, že naše šance jsou dobré," píše Amodei. Zároveň však dodává, že tento pokus probudit lidstvo může být "možná marný", což není nikdy dobrým znamením, když civilizaci čeká vážná výzva.
Další zdroj: hindustantimes.com
