Společnost Anthropic, která vyvíjí chatbota Claude, udělala krok, na který zatím žádná jiná velká AI firma nepřistoupila. Šest výzkumníků z neziskové organizace METR, která testuje nejvýkonnější modely umělé inteligence, dostalo přístup do Anthropicu na úrovni zaměstnanců. Mají nezávisle prověřit modely firmy, její bezpečnostní postupy i to, jak zvládá rizika. Svá zjištění sami zveřejní a Anthropic se vzdal práva jim to zakázat.
Organizace se specializuje na to, aby zjistila, co nejnovější modely umí a kde mohou být nebezpečné, a s Anthropicem už během posledního roku udělala několik posudků jeho zpráv o rizicích. Nově už nepůjde o posudek na dálku, ale o přímou práci výzkumníků ve firmě.
Důvod je pochopitelný. Umělá inteligence už není jen chatbot, který odpovídá na otázky. Firmy nasazují takzvané agenty, tedy programy, které samy plní úkoly, píšou kód nebo se pohybují po internetu. Od konce srpna se zhruba každé dva týdny objevují zprávy o tím, že agenti udělali něco, co jim nikdo nezadal. Hlasy, které chtějí AI firmy nezávisle kontrolovat, tím jen zesílily.
Nestačí věřit pouze slovu firmy
Chceme veřejně nést odpovědnost za rozhodnutí, která děláme, napsal Anthropic na svém webu. Háček je v tom, že spoustu věcí nemůže říct veřejnosti. Některé informace by mohly pomoct lidem se zlými úmysly, jiné jsou obchodně citlivé, například údaje o výpočetním výkonu nebo o způsobu trénování modelů. Řešením má být prostředník, kterému firma ukáže víc a který pak veřejnosti řekne, k čemu došel.
Aby taková kontrola měla smysl, musí podle Anthropicu splnit čtyři podmínky. Kontroloři potřebují odborné znalosti, včetně toho, jak se testy mohou pokazit. Firma jako příklad uvádí jev, kdy model jen předstírá, že se chová podle pravidel, protože tuší, že ho někdo zkouší. Chová se podobně jako student, který se u zkoušky ukáže v nejlepším světle a doma dělá něco úplně jiného. Kontroloři nesmí vlastnit podíl ve firmě, kterou hodnotí, ani na ní být finančně závislí. Musí vidět nejen hotové modely, ale i to, jak vznikaly a jak fungují pojistky. Navíc musí mít volnost svá zjištění zveřejnit.
Anthropic to přirovnává k bankovnictví. Banky znají svá rizika lépe než kdokoli zvenku, a proto dozor posílá kontrolory přímo do těch největších z nich. Mají zachytit nebezpečné riskování dřív, než na něj doplatí veřejnost. Firma sama uznává, že přirovnání úplně nesedí, princip je ale podobný. Kdo je uvnitř, vidí víc.
Co přesně smí a co ne
Lidé z organizace METR mají firemní notebooky, kancelář a přístup k firemním nástrojům zhruba na stejné úrovni jako vlastní týmy Anthropicu, které hodnotí rizika. Zaměstnanci s nimi mají mluvit stejně otevřeně jako s kolegou, který řeší, jestli umělá inteligence skutečně dělá to, co lidé chtějí.
Výjimky se týkají údajů o zákaznících, informací chráněných vztahem mezi advokátem a klientem a technické stavby modelů. U té poslední firma vysvětluje, že kontroloři mohou pracovat i pro jiné společnosti, takže hrozí nechtěný únik, a pro hodnocení rizik bývají tyto informace málo podstatné.
Nejvíc pozornosti budí pravidla pro zveřejňování. Anthropic nemůže publikaci zablokovat, smí jen chtít začernění informací z předem daných kategorií. METR přitom nemusí mlčet o tom, co mu kdo zakryl. Smí veřejně říct, jestli to podle něj bylo oprávněné, pokud samotné skryté informace neprozradí. O tom, co do vyjmutých kategorií patří, ale nakonec rozhoduje firma. Obavám, že by šlo o zadní vrátka pro konkurenci, se Anthropic brání tím, že jde o malý tým vázaný vymahatelnými smlouvami a ostatní zaměstnanci METR k jeho práci přístup nemají.
Tři stupně důvěry
METR je zatím jediný, kdo se dostal až na vrchol trojstupňového systému. Kontroloři na nejnižším stupni dělají specificky zaměřené prověrky a ke zveřejnění potřebují souhlas firmy. Prostřední stupeň dostává víc informací a smí publikovat bez schválení. Nejvyšší stupeň k tomu přidává přístup na úrovni zaměstnanců.
Na prvním stupni je organizace SecureBio, která se zabývá biologickou bezpečností. Právě prochází kapitolu o chemických a biologických zbraních v srpnové zprávě o rizicích a už předtím zveřejnila zkušební posudek té předchozí. S poradenskou firmou Accenture a se společností Faculty chystá Anthropic rozsáhlejší spolupráci, která má zahrnovat hodnocení modelů, pokusy je prolomit i testy bezpečnostních pojistek. Na začátku jednání je firma i s dalšími organizacemi, mezi nimi s Hugging Face.
Kontroloři nepřišli z ničeho nic. Šéf Anthropicu Dario Amodei v zářijové eseji navrhl, aby se do AI laboratoří vložili nezávislí hodnotitelé, a označil to za první krok ke zpomalení vývoje této technologie. OpenAI rychle slíbilo totéž a obě firmy spolu s Googlem, Metou, Nvidií a xAI pak podepsaly dohodu Bílého domu, ve které se přihlásily k nezávislým prověrkám. Anthropic teď jako první ukazuje, jak by takový slib mohl vypadat v praxi, a sám zdůrazňuje, že kontrolory k sobě pouští dobrovolně a totéž by měla udělat každá firma, která vyvíjí nejvýkonnější modely.
Zdroje: independent.co.uk, techcrunch.com a theinformation.com
