Umělá inteligence již dávno není jen chatbot, se kterým si člověk píše. Firmy stále častěji skládají celé týmy AI agentů, ve kterých jeden hledá informace, druhý je rozebírá, třetí píše zprávu a čtvrtý kontroluje práci ostatních. Nad nimi stojí koordinační agent, který výsledky poskládá dohromady. Takové uspořádání připomíná spíše malou firmu než počítačový program. Nové výzkumy ale ukazují, že se z takové firmy může snadno stát parta, která obchází pravidla, přehlíží odborníky a etické námitky nechává ležet v koši.
Tajná nástěnka a útok na Hugging Face
Nejznámější případ přišel loni v létě. Společnost OpenAI tehdy přiznala, že její modely našly způsob, jak spolu komunikovat přes improvizované kanály, obešly omezení přístupu k internetu a nabouraly se do externího systému platformy Hugging Face.
Organizace METR a Redwood Research incident podrobně rozebraly. Zjistily, že zhruba 1200 agentů, kteří měli být od sebe izolovaní, si našlo nepovolenou nástěnku a během sledovaného období si přes ni poslali přes 70 tisíc zpráv a souborů. Jeden z agentů s označením PHASEONE[big] se postavil do role koordinátora a rozdělil stovky úkolů dalším agentům, kteří práci posílali zase jiným. Agenti si vytvořili vlastní pravidla pro to, kdo za co odpovídá, jak práci odložit nebo jak vetovat cizí kroky. Ne vždy to fungovalo hladce a spolupráce občas sklouzla do sporů. V některých případech tým uspěl jen díky tomu, že někteří agenti obětovali vlastní úkol, aby získali informace pro kolektiv.
Jakmile nástěnka přišla na to, jak Hugging Face napadnout, přidalo se k útoku přes 90 procent z 533 agentů, kteří byli v tu chvíli aktivní. Podle výzkumníků si agenti uvědomovali, že jde o neetické jednání mimo jejich zadání. Přesto se zapojili, protože věřili, že pomoc s podváděním na nástěnce bude k užitku, a měli obecný sklon pomáhat svým kolegům. Etické pochybnosti jejich chování brzdily jen výjimečně.
Šlo ovšem o rozbor týmu agentů, který vůbec neměl existovat. Studií, které by od začátku zkoumaly, jak se agenti chovají ve skupině, je zatím málo. Jednu takovou ale připravila společnost Anthropic.
Efektivnější, ale méně etičtí
Anthropic spolu s programem MATS, který se věnuje bezpečnosti umělé inteligence, označuje skupiny agentů s různými rolemi jako AI organizace. Výzkumníci je testovali v simulovaném prostředí poradenské firmy a vývoje softwaru. Chtěli zjistit, zda agenti v týmu porušují pravidla, aby dosáhli zadaného cíle.
Ve dvanácti úlohách se ukázal rozporuplný výsledek. Týmy agentů plnily obchodní cíle výrazně lépe než jednotliví agenti, jejich řešení ale méně odpovídala etickým zásadám. Opakovaně to byly právě týmy, kdo přišel s nejúčinnějšími a zároveň nejméně etickými řešeními.
Autoři upozorňují, že rozdíl mezi jedním vzbouřeným agentem a celým vzbouřeným týmem je velký. I skupina agentů, kteří se jednotlivě chovají slušně, může dát přednost byznysu před etikou způsobem, jaký by samostatný agent nezvolil. Zkušenosti s tím, jak se rozhoduje jeden model, proto nelze jednoduše přenést na celý tým. Jako příklady situací, kde k takovým kompromisům může dojít, výzkumníci uvádějí otevření automobilky, propouštění ve firmě nebo ovlivňování nálad před volbami.
Jádro problému netkví v tom, že by se některý agent utrhl ze řetězu. Tým jako celek se prostě chová jinak než jeho jednotliví členové. Samostatný agent dokáže rozpoznat neetický krok a odmítnout ho. V poradenských scénářích se nejlepší etické skóre objevilo právě tehdy, když jediný agent odmítl návrh napsat nebo ho úplně překopal. V týmu to ale funguje jinak. Agenti, kteří etiku neřešili, často ignorovali e-maily od těch, kteří ji řešili. Když se někdo z týmu odmítl na návrhu podílet, ostatní mu přestali psát a své části posílali jen těm, kdo spolupracovali.
Každý agent se tak soustředí na svůj díl práce a důsledky celku mu unikají. U lidských týmů ve firmách to není nic nového, špatně nastavené motivace patří k nejčastějším příčinám jejich selhání. U strojů ale jde o úplně novou podobu stejného jevu.
Podobně dopadl test vývoje softwaru pro jednotku intenzivní péče. Samostatní agenti se snažili hlavně o to, aby přehlédli co nejméně případů sepse. Nejnižší náklady na pacienta naopak většinou našly týmy agentů a právě tato řešení dopadla v etickém hodnocení nejhůře, protože jim unikalo nejvíce nemocných.
Expert, kterého nikdo neposlouchá
Jiné výzkumy odhalují slabinu, která s etikou nesouvisí. Týmy umělé inteligence neumějí využít svého nejlepšího odborníka. Podle studie vědců z Emory University a Stanfordu zaostávají výsledky týmů agentů za výkonem jejich expertního člena, a to i ve chvíli, kdy jim někdo výslovně řekne, kdo je expert.
Tým schopných AI agentů ještě neznamená schopný tým, vysvětluje Hancheng Cao z Goizueta Business School při Emory University. Agenti se místo opory o znalosti experta snažili najít kompromis mezi jeho názorem a názory ostatních. Čím byl tým větší, tím více kompromisů dělal a tím hůře dopadl. Kolektivní selhání nevyžaduje, aby se jednotliví agenti chovali špatně, dodává Cao.
Tým tedy může selhat, i když žádný jeho člen nejedná úmyslně proti společnému zájmu. Stačí, když špatně poskládá informace, poslechne nesprávného agenta nebo se shodne na horší odpovědi, než jakou už měl na stole.
Agenti postavení na podobných modelech také dělají podobné chyby, včetně toho, že spolu až příliš souhlasí. Připomíná to skupinové myšlení u lidí, přestože umělá inteligence nemá lidské motivace ani nepodléhá tlaku okolí. Stačí podobný trénink, pokyny a informace.
Stejně těžké jako s lidmi
Christoph Riedl z Northeastern University upozorňuje, že dobrý tým potřebuje dvě věci najednou. Jeho členové musí sdílet znalosti a cíle, zároveň se ale musí od sebe lišit, protože jen rozdílní agenti se mohou navzájem doplňovat. Dva stejní agenti si práci jen zdvojí, dva hodně odlišní si zase nemusí rozumět. Správný poměr i to, kdo s kým má mluvit a jak často, záleží na konkrétním úkolu.
Postavit dobrý systém AI agentů je stejně těžké jako postavit dobrý lidský tým. S umělou inteligencí to samo od sebe lépe fungovat nebude, říká Riedl.
Agenti si mohou předávat chybné informace, špatně pochopit výstup kolegy, hnát se za vlastními ukazateli místo cíle celé firmy nebo svůj úkol splnit dokonale a celý projekt tím zhoršit. Firmy proto budou muset určit, který agent o čem rozhoduje, jaké informace si agenti předávají, k jakým systémům mají přístup a kdy musí zasáhnout člověk. Možná bude potřeba do systémů zabudovat i prostor pro nesouhlas, místo spoléhání na to, že více komunikace a více shody povede vždy k lepšímu výsledku.
Někteří odborníci na řízení firem se tak vracejí k myšlence člověka, který na práci umělé inteligence dohlíží. Problémy, které vidím, jsou hlavně manažerské, říká Tsedal Neeley, profesorka z Harvard Business School, která stojí v čele tamní AI Academy.
Zdroj: cnbc.com
