Americká firma Anthropic zveřejnila zprávu o zneužívání svých modelů, přičemž jedna část této zprávy nahání husí kůži. Popisuje pět případů, kdy vědci a výzkumníci používali model Claude při práci na věcech, které by mohly pomoci při vývoji biologických zbraní. Firma jim zablokovala účty, vypnula sítě, přes které obcházeli zákazy, a poznatky předala úřadům i konkurenčním laboratořím. Podstatné je, jak opatrně to firma formuluje. Netvrdí, že někdo z těch lidí chtěl vyrobit zbraň. Tvrdí, že to nedokáže rozhodnout, a právě proto zasáhla.
Nejen pokusy s ptačí chřipkou
První zdokumentovaný případ se odehrál letos v květnu. Bezpečnostní systém, který Anthropic používá na hlídání citlivých biologických dotazů, zachytil žádost o pomoc se sepsáním grantové přihlášky. Šlo o výzkum viru chikungunya, který přenášejí komáři a na který neexistuje schválená léčba. Nemocní mají potíže i několik týdnů nebo měsíců.
Navrhovaná práce měla virus upravit tak, aby se lépe šířil a zároveň lépe unikal imunitnímu systému. Firma žádost odmítla a při dalším pátrání zjistila ještě jednu věc. Dotyční výzkumníci byli spojeni s vojenským výzkumným ústavem, což přitáhlo další pozornost. Nezůstalo ale u jednoho odmítnutí. Anthropic později odhalil, že lidé z této skupiny používali službu třetí strany, která obcházela zeměpisné blokování a zamítnuté dotazy automaticky přeposílala jinému modelu od jiné firmy.
Druhý případ probíhal pomaleji a o to nepříjemněji. Jeden výzkumník strávil týdny tím, že si přes model Claude plánoval pokusy s ptačí chřipkou. Zajímalo ho, jak virus přizpůsobit savcům a jak dosáhnout toho, aby se šířil vzduchem. Bydlel v oblasti, kde Anthropic přístup ke svým modelům omezuje, takže se k nim dostával přes pronajatý server v jiné zemi. Hlídací systémy ho nakonec zachytily a firma ho odřízla od svých nejsilnějších modelů. Zbyly mu jen ty nejslabší, které toho tolik neumějí, ale nakonec přišel úplný zákaz.
Zbylé tři případy se týkaly viru příbuzného pravým neštovicím, jedů a toxinů. V jednom z nich si výzkumník nechával od modelu Claude sestavovat rozsáhlý přehled jedovatých látek z různých skupin jedovatých zvířat. Jiný se týkal přepracování toxinů pro určitý státní program.
Těžké posoudit pravý úmysl
Anthropic v celé této záležitosti naráží na jednu potíž, kterou biologická bezpečnost řeší už desítky let. Stejné poznatky se dají použít dobře i špatně. Informace, která pomůže postavit zbraň, může stejně dobře posloužit k vývoji vakcíny nebo léku, a rozeznat od sebe tyto dva úmysly často nelze.
Nikdo z těch lidí navíc nenapsal, že chystá něco zlého. Naopak, dotazy vypadaly jako normální vědecká práce, tedy žádosti o grant, plánování pokusů a rozbory dat. Jacob Klein, který v Anthropicu vede tým pro vyhodnocování hrozeb, řekl, že nikdo z nich neprohlásil, že má zlé úmysly, a firma neví, jestli měl výsledek skončit zbraní.
V samotné zprávě k tomu firma dodává, že zkušení útočníci o této dvojznačnosti vědí a záměrně ji využívají, aby si udrželi věrohodnou výmluvu. Ve výsledku Anthropic zvolil opatrnost s tím, že následky přehlédnutí by byly příliš vážné.
Co z toho plyne pro budoucí používání AI
Ve zprávě je jedno konstatování, které přesahuje tyto případy. Firma píše, že její starší modely byly zjevně pod hranicí, kdy by mohly někomu s vývojem biologické zbraně opravdu pomoci. U novějších modelů už si tím není jistá. Poprvé tak velká firma z oboru veřejně přiznává, že už nemůže spoléhat na to, že její technika prostě není dost schopná na to, aby byla nebezpečná. Anthropic na to zareagoval tím, že u svých nejnovějších modelů zavedl přísnější pojistky a omezil přístup k široké skupině dotazů z biologie, které se dají využít oběma směry.
Tento bod ukazuje, jak se příběh dotýká každého, kdo umělou inteligenci používá. Zpráva ukazuje tři věci, se kterými bude obor muset něco dělat. Blokování u jedné firmy nestačí. Odmítnutý dotaz se dá poslat jinam a existují služby, které to dělají automaticky. Dokud si laboratoře nebudou předávat informace o tom, koho a proč zablokovaly, bude obcházení otázkou pár minut. Zeměpisná omezení také příliš nefungují. Server v jiné zemi stojí pár dolarů měsíčně a hranice vyřeší během chvilky.
Především se však mění povaha pojistek. Dokud modely nedokázaly s citlivou prací pomoci, stačilo hlídat jasné výzvy k násilí. Teď, když modely zvládnou skutečnou vědeckou práci, musí firmy posuzovat i to, kdo se ptá a proč, což je nesrovnatelně těžší. Řada lidí s legitimním výzkumem na tyto přísnější pojistky narazí a bude se právem zlobit, protože mezi opravdovým vědcem a někým, kdo si na vědce pouze hraje, se rozdíl hledá složitě. Proto by se přístup k takto schopným modelům měl omezit jen na prověřené výzkumníky.
Sílící obavy z pokročilých modelů
Biologická část je jen jednou ze sedmi kapitol. Ve stejném dokumentu Anthropic popisuje ruskou skupinu, která si stavěla roj útočných dronů, čínské a jemenské případy práce na zbraňovém softwaru nebo uživatele spojeného s Íránem, který sbíral veřejně dostupná data a chystal z nich doporučení pro útoky na americké námořní síly v regionu.
Dva dny před vydáním zprávy navíc z firmy Anthropic odešel výzkumník Jacob Coxon, který veřejně obvinil svou bývalou i předchozí společnost z toho, že se ženou za superinteligencí a hazardují s lidskými životy.
Americký prezident Donald Trump sílící obavy kolem umělé inteligence ve čtvrtek večer odmítl.
Zdroje: nytimes.com, cnn.com, bbc.com a foxbusiness.com
