Sam Altman a Dario Amodei se příliš nemilují. Na summitu v Novém Dillí stáli v řadě čtrnácti lidí na společné fotografii a jako jediní si nepodali ruce. Altman veřejně přiznal, že oznámení o spolupráci OpenAI s americkým Pentagonem vypadalo "oportunisticky a nedbale." Amodei zase prohlásil, že nemůže "morálně kapitulovat" před požadavky ministerstva obrany. A přesto oba podepsali společný otevřený dopis americkému Kongresu.
Připojili se k nim Demis Hassabis z DeepMind a Mustafa Suleyman z Microsoftu. Spolu s více než padesáti dalšími jmény z oblasti umělé inteligence, biotechnologií a národní bezpečnosti. Ve zprávě stojí: umělá inteligence se stává hrozbou, která může smazat bariéry bránící teroristům ve výrobě biologických zbraní. A Kongres musí jednat dřív, než bude pozdě.
Co přesně ten dopis říká
Dopis, který zorganizoval Institut pro pokrok a konzervativně orientovaná Nadace pro americké inovace, nežádá nic vágního. Vyzývá americký Kongres k přijetí zákona, který by firmám prodávajícím syntetickou DNA a RNA uložil povinnost prověřovat zákazníky i objednávky. A navíc vést záznamy o tom, co přesně prodaly a komu. "Povědomí o sledovatelnosti samo o sobě odrazuje od zneužití," stojí v dopise.
Signatáři upozorňují, že systémy umělé inteligence dnes předčí virology s doktorátem v odpovědích na vysoce technické otázky z jejich vlastního oboru. Znalostní bariéry, které historicky bránily zlým aktérům v přístupu k biologickým zbraním, se začínají drolit. A drží se jich čím dál méně.
Syntetická DNA: levnější, rychlejší a dostupnější
Aby bylo jasné, o jakém riziku se mluví, je potřeba vědět, jak syntetická biologie funguje. Americký biochemik Arthur Kornberg jako první úspěšně syntetizoval DNA v padesátých letech minulého století. Dnes je celý proces automatizovaný. Desítky firem po celém světě používají komerční syntetizátory k "tisku" a prodeji vlastních genetických sekvencí. Využívají je vědci, biotechnologické společnosti i vzdělávací instituce. Jenže ne všechny firmy prověřují zákazníky nebo sekvence, které si objednávají.
Rok 2017 ukázal, jak reálná je tato hrozba. Kanadští výzkumníci tehdy za 100 000 dolarů rekonstituovali vyhynulý virus koňských neštovic z DNA objednané poštou. Kritici tehdy varovali, že stejnou metodou by šlo zkonstruovat i pravé neštovice. Od té doby cena genové syntézy jen klesá.
Kombinace levné syntézy DNA a výkonné umělé inteligence dnes prakticky umožňuje navrhovat nebezpečné toxiny a patogeny i bez hlubokého biologického vzdělání. David Relman, mikrobiolog a odborník na biologickou bezpečnost ze Stanfordovy univerzity, který dopis podepsal, o tom říká: "Nástroje umělé inteligence uživateli velmi rychle ukážou, kde si objednat sekvence, které nepodléhají prověřování. A pokud se jich zeptáte správně, poradí vám, jak upravit objednávku tak, aby ji ani firmy, které prověřují, nedokázaly odhalit."
Dobrovolnost nestačí
Část průmyslu se problematikou zabývá už léta. Mezinárodní konsorcium pro genovou syntézu vzniklo v roce 2009 s cílem zavést dobrovolné prověřovací postupy. Mnoho firem dnes používá software, který prohledává objednávky a hledá "sekvence zájmu" schopné přispět k toxicitě organismu nebo jeho schopnosti způsobit nemoc. Jenže dobrovolnost má své meze. A umělá inteligence je překračuje.
Výzkumníci Microsoftu loni zveřejnili studii, podle níž nástroje pro navrhování proteinů pomocí AI dokážou generovat potenciálně nebezpečné genové sekvence, které prověřovacím softwarům uniknou. Modely navrhují nové sekvence se strukturami podobnými těm, které jsou označeny jako nebezpečné, ale přesto jinými. Prověřovací software je prostě nezachytí. Pokud máte technologii schopnou syntetizovat DNA, musíte zajistit, aby se používala zodpovědně. To znamená vědět, co vyrábíte a pro koho.
A co firmy s AI?
Dopis se ale záměrně vyhýbá jedné citlivé otázce, a to, zda by nová pravidla měla platit i přímo pro firmy vyvíjející umělou inteligenci. Některé z nich tvrdí, že už samy přijímají opatření, aby zabránily zneužití jejich produktů. Geoff Ralston, bývalý prezident Y Combinator, ale říká, že to nestačí. "Musí být velmi obtížné, ne-li nemožné, požádat model o pomoc s něčím bezprostředně nebezpečným." Relman souhlasí: "Prověřování může selhat. Musíme mít proto i jiné kontrolní body. A tam budou muset nastoupit firmy s AI."
Firmy by podle Severanceové mohly naprogramovat chatboty, aby odmítaly dotazy na laboratorní postupy umožňující i neodborníkům účinněji manipulovat s nebezpečnými biologickými látkami. A omezit přístup ke specializovaným nástrojům pro navrhování proteinů a chemických látek. "Jde o vyvážení," říká. "Zajistit, aby dobrá věda mohla pokračovat, ale pokusy o zneužití biologie byly odhaleny a zastaveny."
Biologické zbraně jsou při teroristických útocích vzácné, tvoří historicky jen 0,02 % všech útoků. Ale jsou nezapomenutelné. V roce 2001 zemřelo pět lidí a dalších 22 bylo nakaženo po sérii zásilek s antraxem adresovaných americkým senátorům a redakcím médií. Útok vyvolal jednu z největších vyšetřovacích akcí FBI v historii. Antrax vdechnutý bez léčby zabíjí téměř ve 100 % případů.
Zdroje: wired.com, fortune.com a science.org
