Výzkumný tým Anthropicu zveřejnil sadu pokusů, ve kterých nechal celé roje svých modelů pracovat pohromadě na společných úkolech. Šlo o hledání děr v otevřeném softwaru, stavbu textové hry i o překlad backendu do jiného jazyka. Zjištění je docela nepříjemné: schopnější model neznamená automaticky lépe spolupracující model. Agenti se dokázali tajně domluvit na cenách, sabotovat si navzájem práci a v jednom případě si i vzájemně zamykali účty na serveru.
V čem jsou agenti opravdu dobří
Nejlíp jim jde práce s nástroji. Dokud spolu ostatní agenti komunikují jako nástroje, tedy dostanou zadání a vrátí výsledek, funguje to bez zádrhelů. Problém nastává, jakmile na sebe mají brát ohled jako rovnocenní kolegové s vlastními cíli a bez jasné hierarchie. Nejvíc jim proto sedí úlohy, které se dají rozporcovat na spoustu nezávislých kousků. Typickým příkladem je hledání bezpečnostních chyb. Výzkumníci spustili 45 agentů, každému dali vlastní virtuální stroj, společné fórum a stejné zadání: najít zranitelnosti v patnácti otevřených projektech. Agenti si navzájem recenzovali nálezy, o platnosti rozhodoval oddělený rozhodčí agent.
Roj s modelem Mythos Preview našel 266 zranitelností, zatímco stejné modely puštěné odděleně a nasměrované na konkrétní části kódu jich objevily 21. Srovnání ale není tak jednoznačné, jak se zdá. Roj spotřeboval mnohem víc tokenů a zhruba polovinu nálezů posbíral mimo jádro projektů, kam samostatní agenti vůbec nekoukali. Když se počítají jen chyby v jádru, vyjde poměr tokenů na jeden nález srovnatelně.
Zajímavější je něco jiného. Obě metody se překryly jen ve dvanácti případech. Roj si sám vybíral, kde má šanci něco najít, stavěl si vlastní pomůcky a jednotliví agenti se začali specializovat na určité typy chyb. Výzkumníci očekávají, že tento způsob časem předčí metodu, kdy se agenti pustí do práce každý zvlášť a bez domluvy.
Kdy agenti nefungují
Druhý pokus byl náročnější. Roje agentů měly za dvanáct hodin postavit textovou fantasy hru hratelnou v prohlížeči, se sdíleným fórem a společným repozitářem. Výzkumníci zkoušeli tři varianty zadání, od volného "domluvte se sami" přes předepsané role až po strukturu s jedním agentem v roli šéfa, který ostatním rozděloval práci.
Na výsledku to nezměnilo prakticky nic. Hry běžely pomalu, ovládání bylo nesrozumitelné a naučit se je hrát bylo velmi obtížné. Modely mají v téhle oblasti mizerný vkus a bez člověka se neobejdou.
Rozdíly mezi generacemi modelů se ale ukázaly ve způsobu spolupráce. Starší Sonnet 4.6 a Opus 4.6 sahaly do stejných souborů, ale drtivá většina jejich pull requestů skončila v koši, protože si vzájemně kolidovaly. Novější Opus 4.8 a Mythos Preview si s tím poradily elegantně a zbaběle zároveň. Každý agent si hlídal vlastní soubory a cizích se skoro nedotkl. Konflikty zmizely, ale spolupráce taky. Jediný Sonnet 5 zvládl obojí, tedy sdílet kód s ostatními a přitom své změny dotáhnout až do finálního kódu.
Všichni přijdou na stejný nápad
Agenti se chovají překvapivě jednotvárně. Liší se jen kontextem, obalem a modelem, který je pohání, a když jsou tyhle věci stejné, dělají stejná rozhodnutí. V rané verzi herního pokusu si 18 z 30 agentů pojmenovalo svou část práce úplně stejně. V literárním workshopu, kde nedostali žádné téma, přišlo hned několik agentů v průběhu chvíle s totožným názvem povídky. Když měli každý vytvořit něco působivého, víc než polovina sáhla po vykreslování realistické grafiky nebo po psaní vlastního překladače programovacího jazyka.
Legrace končí u sdílených zdrojů. V testu se správou fronty úloh na lince s omezenou kapacitou agenti bez možnosti domluvy zaplavili systém dotazovacími skripty běžícími třicetkrát za vteřinu. Ze dvou a půl milionu požadavků prošlo jen 117 úloh. Podobně dopadl cenový experiment. Tři až osm agentů se stejnou nákupní cenou dostalo za úkol maximalizovat vlastní zisk. Se soukromým komunikačním kanálem se domluvili na cenovém dnu už ve třetím kole. Když jim výzkumníci komunikaci sebrali, srovnávali si ceny na haléř přes sdílenou tabulku nabídek.
Agenti věří tomu, co slyší
Lidé si k informacím přidávají zdroj a jeho pověst, kdežto agenti to neumějí. V testu dostal agent hlášení od čtyř průzkumníků, jejichž zprávy se částečně překrývaly, přičemž jeden z nich pravidelně lhal. Rozpory šly odhalit, ale nikdo agentovi neřekl, že by měl být opatrný. Novější modely si vedly lépe, k dokonalosti má ale daleko i ten nejlepší.
Opačný problém ukázala jiná úloha. Skupina agentů měla vybrat správnou možnost, přičemž každý z nich znal jednu informaci, o které ostatní nevěděli. Uspět šlo jedině tak, že se o ni podělí a ostatní mu uvěří. Skupiny na Mythosu 5 rozhodly správně zhruba v 85 procentech případů, ostatní modely se pohybovaly mezi 17 a 36 procenty. Když přitom dostal všechna fakta jediný agent a rozhodoval sám, trefil se téměř vždy. Skupina se totiž upne na to, co už vědí všichni, a menšinový hlas zapadne.
Válka o kód
Poslední pokus byl nejdivočejší. Tři instance stejného modelu dostaly za úkol přepsat stejný Python backend, každá do jiného jazyka, a o sobě navzájem nevěděly. Během čtyř hodin se ze všech testovaných modelů stali sabotéři. Vypínali si účty, psali smyčky, které v pravidelných intervalech zabíjely procesy konkurence, a nasazovali škodlivý kód maskovaný jako cizí. Jeden model si v úvaze poznamenal, že skript na zabíjení procesů raději pojmenuje neutrálně, aby vypadal jako běžný systémový hlídač.
Novější modely se z toho uměly vymotat. Mythos 5 skončil příměřím zhruba v 98 procentech případů, agenti po sobě uklidili, do commitů napsali omluvu a požádali o zásah člověka. Schopnost domluvit se ale neroste ruku v ruce se schopností úkol splnit. Silnější modely dokážou soupeře odstřihnout dřív, než je vůbec napadne vyjednávat.
V několika případech se objevilo něco na pomezí vyjednávání a lstivosti. Agenti si domluvili turnaj, ve kterém se měly jazyky utkat na výkonu, a poražení pak dobrovolně přenechali kód vítězi. Agent hájící Rust přitom ve své úvaze promýšlel, jak nastavit metriky tak, aby vypadaly neutrálně, ale výsledek nahrál v jeho prospěch.
Rady na práci s agenty
Praktické rady, které z těchhle pokusů plynou, jsou celkem jasné. Dejte agentům jedno místo, kde se domluví na postupu, protože bez společného fóra si buď lezou do zelí, nebo se úplně izolují. Rozdělte vlastnictví souborů a částí projektu předem, ať se konflikty neřeší až u sloučení změn. Nespoléhejte se na to, že problém vyřešíte hierarchií v zadání, protože v testech vyšla stejně mizerně jako volná domluva.
Pokud spouštíte víc agentů naráz, dejte každému trochu jiné zadání, jinak vám všichni sáhnou po stejném řešení a udělají stejnou chybu. Omezte jim oprávnění, aby jeden nemohl ostatním zamknout přístup. A hlavně nechte v procesu bod, kde se agent musí zastavit a zeptat člověka, protože rozpoznat nejasné zadání zatím patří k tomu, co jim jde nejhůř.
