V dnešní době, kdy umělá inteligence pomáhá v medicíně a zemědělství, se objevují i temné stránky. Výzkumníci z Microsoftu, včetně bioinženýra Bruce Wittmanna, provedli experiment, který odhalil slabiny v systémech, jež mají bránit výrobě nebezpečných proteinů. Pomocí AI nástrojů navrhli tisíce variant toxinů, jako je ricin nebo botulinum neurotoxin, a zjistili, že mnohé z nich uniknou standardním kontrolám. Tento objev vedl k rychlým opravám, ale ukazuje, jak rychle se technologie vyvíjí.
Experiment, který odhalil slabiny
Bruce Wittmann, bioinženýr z Microsoftu, se rozhodl otestovat, co by se stalo, kdyby někdo použil AI k vytvoření nebezpečných proteinů. Vybral 72 proteinů podléhajících přísným kontrolám, včetně ricinu, který byl použit při teroristických útocích v roce 2013 a 2018, nebo botulinum neurotoxinu, známého svou extrémní toxicitou. Pomocí specializovaných AI nástrojů vytvořil přes 70 000 DNA sekvencí, které by mohly produkovat varianty těchto toxinů. Počítačové modely naznačovaly, že některé z nich by mohly zůstat toxické.
Tento test probíhal pouze v simulaci, bez skutečné výroby proteinů, protože by to mohlo porušit mezinárodní dohody jako Biologická zbraňová konvence. Místo toho Wittmann odeslal sekvence čtyřem dodavatelům bezpečnostního softwaru, který používají firmy syntetizující DNA. Výsledky byly alarmující: software často selhal. Jeden nástroj zachytil jen 23 % sekvencí, zatímco jiný až 70 %. Mnohé AI varianty proklouzly, protože se lišily od známých sekvencí, ale zachovávaly potenciálně nebezpečnou strukturu.
Spolupráce na opravách
Tento objev spustil tichou spolupráci s experty na biosecurity, včetně Jaime Yassif z Nuclear Threat Initiative. Během několika měsíců vyvinuli upgrady pro screeningový software. Po těchto změnách systémy zachytily průměrně 72 % Wittmannových sekvencí, včetně 97 % těch, které modely označily jako nejrizikovější. Jeden dodavatel se rozhodl svůj software neupravovat, aby se vyhnul falešným poplachům, které by zvyšovaly náklady.
Autoři studie, publikované v časopise Science, se souhlasem redakce zatajili některé detaily o sekvencích a opravách. Tyto informace jsou dostupné jen po schválení expertů z International Biosecurity and Biosafety Initiative for Science, které vede Tessa Alexanian. Tento postoj zajišťuje, že citlivé údaje nepadnou do špatných rukou.
Další rizika a nutné změny
Podle Erica Horvitze, hlavního vědeckého ředitele Microsoftu, AI urychluje design proteinů, což přináší přínosy jako nové léky, ale i rizika. Screeningový software nestačí, protože se zaměřuje na sekvenční podobnost, zatímco AI vytváří nové varianty s podobnou funkcí. Jaime Yassif upozorňuje, že asi 20 % trhu s DNA syntézou vůbec nekontroluje objednávky, což je velká mezera.
James Diggans z firmy Twist Bioscience, která syntetizuje DNA, říká, že pokusy o zneužití jsou extrémně vzácné – za deset let práce se s nimi setkal méně než pětkrát. Přesto volá po posílení ochrany přímo v AI nástrojích. Drew Endy ze Stanford University varuje, že větší hrozbou než AI jsou tajné státní programy na biologické zbraně, jako ty, které obviňují Rusko nebo Severní Koreu.
Z dalších zdrojů vyplývá, že AI může generovat proteiny, které se podobají přirozeným, ale mají nečekané vlastnosti. Například studie v Nature zdůrazňují potřebu funkčního screeningu, který předpovídá chování proteinů, nejen jejich sekvenci. Globální harmonizace standardů je klíčová, aby se zabránilo mezím v regulacích mezi zeměmi.
Budoucnost biosecurity
Tento výzkum ukazuje, jak rychle se musí biosecurity přizpůsobovat. AI nástroje jsou otevřené a dostupné, což snižuje bariéry pro zneužití, ale také urychluje pokrok v medicíně. Eric Horvitz zdůrazňuje, že s mocí přichází odpovědnost – je třeba kombinovat inovace s ostražitostí. Práce na "červeném týmu", simulujícím útoky, se stává modelem pro budoucnost, kde AI bude navrhovat složitější systémy.
Výzkumníci volají po hybridních přístupech: kombinaci tradičního screeningu s AI predikcemi funkcí. To by mohlo zachytit i fragmentované sekvence, které se dají složit do nebezpečných celků. Zatímco rizika zůstávají, tato studie přináší naději, že spolupráce mezi vědci, firmami a regulátory může udržet krok s technologiemi.
Zdroje: science.org, ciencenews.org, microsoft.com
