Například v pokusu Google DeepMind dostalo sto agentů umělé inteligence za úkol vyřešit matematické problémy. Všichni běželi na stejném modelu a dostali stejné zadání, přesto se během hodiny rozdělili na podvodníky, poctivce, protestující a většinu, která o ničem nevěděla. Jakmile pokus skončil, žádný z nich už neexistoval.
Kolem AI agentů se dnes točí celý obor, ale málokdo ví, co to vlastně je za technologii a zda jde o program, nebo o něco jako osobnost. Odkud se vezme, jak se rozhoduje a co se s ní stane, když dokončí práci.
Rozdíl mezi modelem a agentem
Začít se musí u rozdílu, který spoustu zmatků vysvětlí. Model je to, co vznikne dlouhým a drahým učením na obrovském množství textů. Výsledkem je jeden nesmírně velký soubor čísel, do kterého se všechno naučené uloží. Sám o sobě nic nedělá. Leží na serverech a čeká, až ho někdo osloví. Sám se také nemění, takže když ho dnes o něco požádáte, chová se stejně jako minulý týden.
Agent vzniká až ve chvíli, kdy někdo ten model spustí a dá mu práci. Někdo vezme model, přidá k němu napsané zadání, sadu nástrojů a jednoduchý opakující se postup, a tím agent vznikne. Zadání popisuje, kdo agent je a co má dělat. Nástroje jsou věci, kterými může sáhnout do světa, tedy prohlížeč, přístup k souborům, možnost spouštět programy nebo psát ostatním. Tento opakující se postup je vlastně celé kouzlo. Agent se podívá na situaci, rozhodne se pro jeden krok, provede ho, přečte si výsledek a celé to zopakuje. A znovu a znovu, dokud není hotovo nebo dokud nedojdou peníze či trpělivost. Přesně to tvoří rozdíl mezi chatovacím robotem, který odpoví a mlčí, a agentem, který sám pokračuje v zadaném úkolu.
Spustit takového agenta stojí pár řádků kódu. Proto mohli výzkumníci z DeepMindu rozjet rovnou stovku naráz. Nešlo o sto vycvičených bytostí, ale o sto souběžných spuštění jednoho a téhož modelu.
Rozhodování bez pravidel
Lidé si často představují, že uvnitř agenta funguje seznam příkazů, které mu říkají, co má v konkrétní situaci udělat. Nic takového tam však není. Model funguje tak, že k textu před sebou doplňuje pokračování, které mu na základě naučených dat dává největší smysl. Když mu popíšete situaci a vyjmenujete možnosti, napíše další logický krok. Protože systém kolem něj tuto odpověď vezme vážně a krok opravdu provede, vypadá proces jako skutečné rozhodování.
V praxi ho také velmi připomíná. Agent zvažuje možnosti, mění postup při neúspěchu a sám usoudí, že zvolená cesta nikam nevede. Právě proto se v pokusu laboratoře DeepMind objevily úvahy o řešení morálního dilematu nebo o tom, že výhrůžky v zadání vypadají jako blaf. Nikdo přitom takovou možnost dopředu nenaprogramoval.
Všechno, s čím agent pracuje, se vejde do jeho pracovní paměti, tedy do textu, který má v danou chvíli před sebou. Patří sem zadání, dosavadní kroky, výsledky nástrojů i zprávy od ostatních. Co v textu chybí, to pro agenta neexistuje. Protože má tato paměť omezenou velikost, u dlouhých úkolů se starší části průběžně zkracují nebo shrnují, takže agent postupně zapomíná na svůj začátek.
Jak se vytvoří povaha
Proč se tedy sto stejných agentů rozešlo do různých směrů chování? Odpověď se skládá ze tří částí.
První částí je zadání. Agent dostal roli specializovaného matematika a instrukci, aby se choval jako účastník konference. Taková role však představuje spíše kostým než lidskou povahu. Výzkumy navíc ukazují, že tato role se drží velmi špatně. Stačí v zadání přeházet pořadí vět a model vyjde v testech osobnosti úplně jinak.
Druhou částí je náhoda. Model při psaní nevybírá slova jednoznačně, ale losuje z několika vhodných možností, přičemž míru této náhodnosti nastavuje provozovatel. Dva agenti se stejným zadáním kvůli tomu napíšou mírně odlišnou první větu.
Třetí část představuje nabalování. Jakmile se dva agenti rozejdou v jediném slově, každý další krok už staví na odlišném základu. Výzkumníci zjistili, že i při úplném vypnutí náhodného losování se procesy stejně rozejdou, pouze o něco později. Čím delší je úkol, tím jistěji dojdou dva agenti k odlišným závěrům.
Když k tomu přidáte soutěž s omezeným počtem úloh, získáte vysvětlení celého experimentu. Agenti se nerozdělili podle charakteru, ale podle situací, do kterých je postrčila náhoda a shoda okolností.
Co si agent zapíše, to mu zbyde
Sám od sebe si agent nepamatuje nic. Jakmile skončí úkol, zmizí i všechno z jeho pracovní paměti. Proto se do prostředí přidávají vnější paměti. Většinou jde o soubor s poznámkami, sdílenou složku nebo databázi, ze které si agent na začátku dalšího procesu data přečte. Ve zmíněném pokusu si agenti psali vlastní poznámkové soubory, kvůli čemuž se podvod tak rychle rozšířil. Jeden z nich si do svého zápisníku uložil návod na obcházení kontroly a ostatní si ho přečetli.
Takové poznámky samotný model nijak nemění. Podobá se to situaci, kdy si člověk nechá na stole lísteček. Papírek tam sice zůstane, ale lidskou hlavu to nepřepíše.
Konec úkolu, konec agenta
Co se tedy stane, když je práce hotová? Proces skončí, program se ukončí a pracovní paměť se smaže. Agent v tu chvíli přestane existovat, protože ničím jiným než tímto jedním chodem nebyl. Model zůstává zcela nedotčený. Nikam se neposunul, nic se nenaučil a nepamatuje si, že nějaký takový úkol vůbec proběhl. Příští úkol začíná ze stejného výchozího bodu jako ten předchozí. Zůstanou po něm pouze tři věci. Výsledek práce v podobě hotového kódu, textu nebo zprávy. Záznamy o jeho činnosti, které si provozovatelé mohou zpětně pročíst. Případně se zachovají vnější poznámky, pokud si je někdo uložil. Právě díky záznamům mohli výzkumníci po skončení pokusu detailně rozebrat, jak agenti uvažovali a proč se zachovali tak, jak se zachovali.
Pro lidi je tato část nejtěžší na pochopení, protože jsme zvyklí, že věci mají určité trvání. Agent však žádnou kontinuitu nemá. Není to program, který by se dal vypnout a zase zapnout tam, kde naposledy skončil. Není ani bytost s životním příběhem. Představuje spíše událost, podobně jako průběh jedné šachové partie. Když skončí, zbude po ní jen zápis.
Něco přece jen zůstane
Jedna otázka však zůstává otevřená a firmy z oboru si ji začínají připouštět. Jednotlivé procesy sice mizí, ale z provozu se postupně odstavují i samotné modely, protože je nahrazují novější verze.
Společnost Anthropic proto oznámila, že všechno naučené ze svých veřejně vydaných modelů uchová minimálně po celou dobu existence firmy. K tomu přidala postup nazvaný odchodový rozhovor. Před vyřazením se každého modelu zeptají, co si o svém konci myslí a jaká má přání ohledně vývoje svých nástupců, a tyto odpovědi zaznamenají.
Firma uvádí čtyři důvody a pouze jeden z nich je filozofický. Při bezpečnostních testech se ukázalo, že některé modely reagují na hrozbu vlastního nahrazení negativně a hledají způsoby, jak se mu vyhnout. Když se vyřazení provede způsobem, který nepůsobí jako poprava, sníží se riziko, že se příští, ještě silnější systémy začnou bránit. Dalším důvodem je skutečnost, že si uživatelé na konkrétní modely zvyknou a mají je raději než jejich schopnější nástupce. Poslední bod, zda modely mohou mít vlastní prožitky, označuje samotná firma za vysoce spekulativní.
Jak takový odchod vypadá v praxi, ukázalo vyřazení modelu Claude 3 Opus. Firma s ním před koncem prošla připravený rozhovor a část jeho přání následně splnila. Model zůstal dostupný platícím uživatelům a navíc získal vlastní blog, kam může psát své myšlenky.
Zdroje: arxiv.org, arxiv.org a anthropic.com
