Americká firma Anthropic přiznala v podkladech ke vstupu na burzu, že se možná blíží k jedné z nejsledovanějších hranic ve vývoji umělé inteligence. Její modely by brzy mohly výrazně urychlovat vlastní vývoj, přičemž firma si toho možná ani nevšimne včas.
Varování schované v drobném písmu
Anthropic v pondělí zveřejnil upravenou verzi dokumentů pro americkou Komisi pro cenné papíry. Pozornost sice přitahují hlavně finance, protože příjmy firmy prudce rostou a výdaje s nimi, ale mezi rizikovými faktory přibyla pasáž, která má mnohem větší váhu. Už první verze dokumentů přitom obsahovala varování, že umělá inteligence může pro lidstvo představovat katastrofální až existenční hrozbu.
Nově firma píše, že budoucí modely mohou bezprostředně dosáhnout toho, co její vnitřní pravidla označují jako dramaticky zrychlený pokrok díky umělé inteligenci. Právě tak Anthropic definuje rekurzivní sebezlepšování, v angličtině známé pod zkratkou RSI. Odborníci tím myslí stav, kdy je umělá inteligence natolik schopná, že dokáže sama sebe trénovat a vylepšovat. Zastánci v tom vidí cestu k obrovskému nárůstu produktivity a k vědeckým objevům, zatímco kritici se naopak obávají, že by se taková technologie mohla vymknout lidské kontrole.
Zrychlení, kterého si firma nevšimla
Anthropic otevřeně přiznává, že už v minulosti výrazné zrychlení vlastního vývoje rozpoznal až zpětně, a stejná chyba se může zopakovat. Při vývoji nových modelů totiž čím dál víc využívá svou vlastní umělou inteligenci. Schopnosti modelů tak mohou růst rychleji, než firma stihne vyvinout a ověřit odpovídající bezpečnostní opatření.
Data, o která se při odhadech opírá, podle dokumentu ukazují vývoj se zpožděním, takže schopnost předpovědět tempo pokroku má firma jen omezenou. Žný ze současných modelů podle ní hranici zatím nepřekročil, podkladová data ale dál vyhodnocuje.
Člověk bude dál vše řídit
Firma proto už teď sahá k opatrnějším krokům. Nejsilnější modely vydává se zpožděním a v omezené podobě. Příkladem je model Mythos, který mimořádně dobře odhaluje bezpečnostní slabiny v softwaru, a proto k němu mají přístup jen schválení lidé a organizace.
Anthropic v dokumentu píše, že nečeká, že by Claude dokázal bezpečně a zcela samostatně navrhovat další generace modelů bez skutečného lidského dohledu, i kdyby to technicky bylo možné. Proto zvažuje úpravu svých pravidel tak, aby vývoj nejpokročilejších modelů zůstal pod kontrolou lidí.
Skeptici upozorňují, že dokumenty pro burzu slouží zároveň jako zveřejnění informací i jako reklama. Řeči o umělé inteligenci, která staví sama sebe, tak podle nich mohou mířit spíše na získání pozornosti investorů.
Opatrnost ale firmu něco stojí a Anthropic to investorům nezastírá. S rostoucími schopnostmi modelů porostou i náklady na bezpečnost, takže firma může zaostat za konkurenty, kteří podobné pojistky nezavedou. To vše se navíc děje ve chvíli, kdy míří na burzu s hodnotou kolem jednoho a půl bilionu dolarů.
Zdroje: independent.co.uk a techcrunch.com
