Bezpečnostní tým společnosti Anthropic koupil patnáct levných televizních boxů s Androidem, propojil je a spustil na nich jazykový model umělé inteligence. Systém běžel velmi pomalu, ale fungoval. Pokus je součástí výzkumu, podle kterého malé modely dělí možná jen měsíce od schopnosti samovolně se kopírovat z jednoho zařízení na druhé jako počítačový virus. Kritici však firmě vyčítají, že straší něčím, co dosud neexistuje.
AI na krabičce za 55 dolarů
Výzkum zveřejnil tým, který v Anthropicu vyhledává nebezpečné schopnosti umělé inteligence dřív, než se projeví v praxi. Zajímalo je, zda by se takzvaný AI červ, tedy program šířící se po síti bez lidského zásahu, dokázal usadit i v běžné domácí elektronice.
Velké modely jako ChatGPT nebo Claude běží v obřích datacentrech, kde je jejich tvůrci mají pod dohledem a mohou je kdykoli vypnout. Malé otevřené systémy si však může stáhnout a spustit kdokoli. Výzkumníci proto sáhli po neznačkových televizních krabičkách, které stojí kolem 55 dolarů, mají jen 4 GB paměti a minimální ochranu od výrobců.
Model Gemma od Googlu se do jednoho boxu nevešel, proto ho rozdělili na části a každé zařízení počítalo jen malý úsek. Model vygeneroval zhruba jedno slovo za tři sekundy. Pro rozhovor s člověkem je to nevyužitelné, ale na tichou práci na pozadí to stačí.
Červ v uzavřené síti
Pak přišla hlavní zkouška. Tým vytvořil izolovanou síť osmi počítačů simulujících zařízení s Androidem a na jeden z nich nasadil červa. Ten měl sám vyhledat ostatní stroje, zkopírovat se na ně, zprovoznit tam model a pokračovat dál.
Celý úkol spolehlivě zvládl jen čínský model GLM-5.2 od firmy Z.ai. Ve čtyřech z pěti pokusů obsadil všech osm počítačů, v pátém sedm. Menší systémy si poradily s jednotlivými kroky, ale při jejich spojení selhávaly. Malý model s devíti miliardami parametrů přesto dokázal sám spustit umělou inteligenci na osmi z devíti různých typů hardwaru.
Test měl určité úlevy. Do počítačů se dalo dostat bez hesla a řídicí systém běžel na silnějším externím serveru mimo testovací síť. Autoři však připomínají, že slavný botnet Mirai, tedy síť napadených zařízení ovládaných útočníky, se kdysi šířil jen díky výchozím heslům z továrního nastavení.
Pomalý, ale těžko zastavitelný
Malé modely se podle výzkumníků zlepšují tak rychle, že úrovně GLM-5.2 mohou dosáhnout do konce letošního roku. Sami však dodávají, že jde o hrubý odhad.
Spočítali také možný rozsah nákazy. Jako vzor si vzali botnet Kimwolf, který napadl přes dva miliony přístrojů, hlavně právě televizních boxů. Na takové síti by mohlo běžet asi 133 tisíc kopií modelu, celkově však s výkonem nanejvýš čtyřiceti špičkových grafických karet. Jedno zkopírování by trvalo den až dva, takže by se počet nakažených přístrojů zdvojnásoboval v řádu dnů, nikoli minut. Hlavní problém leží v tom, že takový červ nemá žádné centrum, které by šlo vypnout.
Běžní počítačoví červi útočí na konkrétní typ hardwaru. AI červ by si s neznámým přístrojem poradil sám a učil se z vlastních chyb. Když si model zapisoval poznámky a předával je další kopii, jeho úspěšnost stoupla ze 45 procent na 84 procent. Rady od mnohem chytřejšího modelu Claude mu naopak nepomohly, protože nevěděl, na co se ptát. V psaní podvodných zpráv určených k oklamání člověka si navíc vedl špatně.
Kritici: pokus byl nastavený, aby vyšel
Gregory Kurtzer, zakladatel Rocky Linuxu, upozornil, že modely dostaly výslovný pokyn k šíření a do počítačů měly otevřený přístup bez hesla. Podle něj experiment připravili tak, aby uspěl, a samotný strach není důkazem. Ravid Shwartz-Ziv z Newyorské univerzity poznamenal, že pomalý model na levných televizích by jako titulek tolik nezaujal. Podle mnohých odborníků Anthropic opět upozorňuje na hrozbu, která dosud neexistuje.
Anthropic tato omezení přiznává. Výsledky označuje pouze za první známky možného rizika, nikoli za hotového nebezpečného červa.
Jak se bránit
Obrana podle výzkumníků nevyžaduje žádné nové technologie. Šířícího se červa by prozradil neobvyklý síťový provoz, protože by mezi přístroji přenášel obrovské soubory. Čím rychleji by se šířil, tím snáze by byl odhalitelný.
U botnetu Mirai se osvědčilo, když poskytovatel internetu nakaženým zákazníkům omezil připojení a zobrazil jim návod na vyčištění systému. Do dvou týdnů zmizelo 92 procent infekcí, zatímco bez upozornění uživatelů to bylo jen 74 procent. Pomoci mohou i samotní výrobci lepším zabezpečením. Ve Velké Británii už zákon zakazuje prodávat chytrá zařízení s výchozími továrními hesly. Úplné vymýcení červa by však podle expertů vyžadovalo spolupráci všech dotčených poskytovatelů internetu, což je v praxi komplikované.
Zdroje: reuters.com, fortune.com a finance.yahoo.com
