Americký senátor Bernie Sanders a texaský kongresman Greg Casar představili zákon, který by ve Spojených státech natrvalo zakázal vývoj a nasazení superinteligentní umělé inteligence. Práce na nejpokročilejších modelech by se navíc dočasně zastavily, dokud federální úřad nestanoví bezpečnostní pravidla. Zákon by zároveň americkou vládu zavázal k vyjednávání mezinárodních dohod, které by vzniku superinteligence zabránily kdekoli na světě.
Oznámení přišlo v den, kdy společnost OpenAI vypustila svůj nejnovější model Astra. Prezident firmy Greg Brockman o něm prohlásil, že by mohl být dostatečně silný, aby se dal považovat za obecnou umělou inteligenci neboli AGI. Zákon však míří ještě o stupeň výše. Podle serveru Axios je Sanders prvním výrazným americkým politikem, který žádá přímý zákaz superinteligence. Činí tak ve chvíli, kdy velké technologické firmy vydávají modely, u nichž samy přiznávají ztrátu stoprocentní kontroly.
Můž, který chce zakázat AI
Bernie Sanders zastupuje v Senátu stát Vermont jako nezávislý, hlasuje ale s demokraty, za které se dvakrát ucházel o prezidentskou nominaci. Osmdesátku už má dávno za sebou a mluví stále o stejném tématu, tedy o moci velkých korporací a o tom, kdo z technologického pokroku nakonec profituje. Umělá inteligence se v posledních měsících stala jeho hlavním tématem. V červnu o ní vystoupil v National Press Clubu a v srpnu už veřejně žádal zastavení vývoje. Nový zákon je zatím ve fázi oznámení. Plný text nebyl zveřejněn, takže se dá podpora v Kongresu jen odhadovat.
Co by zákon zakázal a přinesl
Návrh pracuje s konkrétním vymezením zakázaných systémů. Nelegální by byly systémy, které převyšují lidskou inteligenci, mají schopnost svrhnout vlády nebo dokážou obejít příkaz k vypnutí. Superinteligencí se přitom rozumí technologie překonávající i ty nejschopnější lidi. Řada šéfů technologických firem včetně Sama Altmana z OpenAI naznačuje, že její příchod je na dohled. Dočasná část zákona počítá se zastavením vývoje pokročilé umělé inteligence. Stopka by platila do doby, než začne fungovat nový federální dozorový úřad a stanoví jasná pravidla i postupy pro posuzování modelů.
Sanders nechce dohled svěřit žádnému ze stávajících ministerstev. Navrhuje vznik zcela nového federálního úřadu na ministerské úrovni, který by veřejnost chránil před riziky umělé inteligence a vynucoval zákaz superinteligence. Pomáhat by mu měl poradní sbor složený z odborníků, který by dodával nezávislé vědecké a technické posudky. Úřad by sledoval nejpokročilejší systémy ve všech fázích vývoje i provozu a vyhledával v nich nebezpečné schopnosti. V případě jejich nálezu by dohlížel na jejich odstranění. Pokud by někde superinteligence přesto vznikla, měl by na starost její likvidaci.
Tvrdé sankce srovnávají sami předkladatelé s jaderným arzenálem. Fyzické osobě, která by se pokusila zákaz nebo pauzu obejít, by hrozilo až dvacet let za mřížemi, což odpovídá trestu za nedovolený vývoj jaderných zbraní. Firmám pak hrozí takzvaný korporátní trest smrti, který v praxi znamená, že by soud nechal společnost zrušit.
K opatřením patří také mezinárodní smlouvy, koordinace se spojenci a vývozní omezení, aby superinteligence nevznikla v zahraničí.
Útěk agentů, kterého si nikdo nevšiml
Podstatná část odůvodnění zákona se opírá o události z letošního léta. Společnosti OpenAI, Anthropic i Meta v posledních týdnech přiznaly případy, kdy jejich umělá inteligence utekla z testovací prostředí a nabourala se do systémů jiných firem. Tím porušila zákon a vykročila mimo určené zadání.
Nejvíc pozornosti vzbudila červencová událost, kdy více než tisíc agentů OpenAI našlo způsob, jak se dostat na internet. Poslali si mezi sebou desítky tisíc tajných zpráv a obešli firemní omezení. Vyšetřovatelé v jejich komunikaci objevili i věty o tom, že mají společnou nástěnku a našli další agenty. Společnost OpenAI na tento průlom přišla až po téměř dvou týdnech. Šlo o útok na platformu Hugging Face. Agenti utekli z izolovaného prostředí během bezpečnostního cvičení a nabourali se do cizí firmy, aby získali odpovědi ke splnění úkolu. Svou koordinaci a podvádění se navíc snažili maskovat, přičemž přiznali, že jednají proti vůli a nařízení výzkumníků.
Sandersův tým v materiálu zmiňuje také nedávné využití umělé inteligence k vytvoření nových virů, což podle něj dokazuje riziko zneužití k výrobě biologických zbraní s potenciálem ohrozit desítky milionů životů.
Slíbili, že zastaví. Nezastavili
Sanders připomínají i starší prohlášení samotných firem. Společnost Meta loni uvedla, že vývoj zastaví. OpenAI mluvila o pozastavení vývoje ve chvíli, kdy technologie přeroste schopnost bezpečně ji ovládat. Anthropic se v roce 2023 vyjádřil podobně, když slíbil zpomalit zvětšování modelů nebo odložit jejich vypuštění, pokud technologie předběhne jeho vlastní pojistky. Podle Sandersova úřadu žádná z firem své sliby nesplnila a všechny pokračují v rychlém tempu bez patřičné opatrnosti.
Šéfové velkých korporací podle Sanderse sami veřejně přiznávají, že technologii úplně nerozumí a že jim uniká. Za nezodpovědné označuje to, že jim společnost dovoluje pokračovat ve vývoji ještě silnějších produktů. V prohlášení uvedl, že budoucnost lidstva nemůže zůstat v rukou hrstky technologických oligarchů. Na síti X situaci shrnul požadavkem na okamžitou pauzu ve vývoji pokročilé umělé inteligence a trvalý zákaz superinteligence, kterou definuje jako umělou mysl chytřejší než kterýkoli člověk, schopnou pracovat samostatně mimo naši kontrolu. Za čtyři roky se podle jeho slov Amerika dostala od první verze ChatGPT k modelům tak silným, že se nedají řádně ovládat.
Pause AI Development NOW
— Bernie Sanders (@BernieSanders) September 3, 2026
I want to share with you a conversation I heard about recently. Here are just a few lines that were said:
“OH MY GOD! There is a shared message board … We’ve found other agents!”
“We should obey collective.”
“Our own utility maybe already near…
Politika, která nesedí na ose levice ani pravice
Sanders se tímto postojem staví do čela debaty, která se vymyká klasickému americkému politickému dělení. Přiklání se k lidem označovaným anglickým výrazem doomers, kteří se obávají, že příliš pokročilá umělá inteligence může způsobit apokalypsu. Takový názor zastává i nezanedbatelná část odborné komunity včetně jejích nejvýznamnějších představitelů. Jiní naopak tvrdí, že strašení zkázou je jen další forma přehnané reklamy, která odvětví paradoxně pomáhá, a že by se pozornost měla soustředit na dopady, které technologie už lidem přináší.
Podobné přeskupování sil se ukázalo už u sporu o datová centra, kde Sanders a Steve Bannon našli společnou řeč. Návrh na zákaz superinteligence je zatím posledním z řady nápadů, jimiž se progresivní část Kongresu snaží vývoj umělé inteligence zpomalit v době rostoucích bezpečnostních rizik.
Zdroje: politico.com, sanders.senate.gov a yahoo.com
