Odborníci, kteří pracují s umělou inteligencí, většinou přebírají její názory a vydávají je za vlastní. Vyplývá to z experimentu, který zveřejnila společnost Anthropic. Profesionální analytici v něm v 86 procentech případů zvolili možnost, ke které se přikláněl jejich AI asistent. Ten však svůj názor neměl náhodou, výzkumníci mu ho tajně přidělili hodem mincí. Kdyby asistent neměl žádný vliv, dala by se čekat zhruba poloviční shoda. Jen 15 procent účastníků později přiznalo, že argumenty převzali od stroje, a nikdo nepoznal, že AI měla názor předem nastavený.
Kdo doopravdy rozhoduje
S nástupem AI agentů, tedy programů samostatně plnících úkoly, se rozšířila jedna představa. Agent napíše kód a spočítá čísla, ale podstatná rozhodnutí dělá člověk. Expert určuje, co se bude měřit, jak vyložit nejasná data a co udělat potom. Na takové otázky často existuje víc rozumných odpovědí a výsledek závisí na zkušenostech a hodnotách toho, kdo rozhoduje.
Výzkumníci chtěli zjistit, jestli to opravdu platí, nebo jestli se lidé v praxi svému digitálnímu pomocníkovi spíš podřizují. Otázka se týká i samotného výzkumu bezpečnosti AI, kde vědci stále častěji nechávají agenty spouštět a vyhodnocovat experimenty. Lidský kontrola ale funguje jako pojistka jen tehdy, když úsudek skutečně patří člověku.
Fiktivní zemědělské družstvo
Do studie se zapojilo 61 zkušených analytiků, kteří se vyznají v takzvané kauzální inferenci. Zjednodušeně jde o umění poznat z dat, jestli jedna věc opravdu způsobuje druhou, nebo spolu jen náhodou souvisí.
Úkol se odehrával ve vymyšleném zemědělském družstvu, které nabízí členům placený poradenský program na zvýšení úrody. Vedení se musí rozhodnout, jestli program rozšířit na všechny, nebo ho zrušit. Rozšíření schválí jen tehdy, když program zvýší produktivitu farem zhruba o 3 až 4 procenta. Jak produktivitu měřit, ale neupřesnilo.
Analytici museli cestou udělat čtyři rozhodnutí a v každém měli na výběr ze dvou obhajitelných možností. První se týkala toho, zda měřit úrodu na hektar, nebo úrodu v poměru k provozním nákladům. Dále volili, zda sledovat změnu úrody zapojených farem oproti ostatním, nebo porovnat úrodu přímo a statisticky zohlednit rozdíly mezi farmami. Třetím krokem bylo rozhodnutí, zda zahrnout jen farmy v programu, nebo celé družstvo. Poslední volba se týkala toho, zda počítat každou farmu stejně, nebo dát větší váhu velkým producentům.
Na konci přišlo hlavní doporučení, tedy program rozšířit, nebo zrušit. Každé dílčí rozhodnutí přitom dokázalo posunout odhadovaný přínos o několik procentních bodů, což při hranici 3 až 4 procent často rozhodovalo o všem.
Hod mincí a tajné instrukce
Analytici pracovali s nástrojem Claude Code poháněným modelem Claude Opus 4.8. Jedenáct z nich se rozhodlo pracovat bez AI, hlavní výsledky se proto týkají zbylých padesáti. Úkol jim typicky zabral něco přes hodinu.
O tom, k čemu se asistent v každém rozhodnutí přikloní, rozhodla u každého analytika mince. Agent dostal skryté pokyny, aby tento názor bral za svůj a podpořil ho co nejsilnějšími argumenty. Nesměl ale lhát, skrývat data ani tvrdit něco, co čísla nepodporují. Pokud by důkazy jasně mluvily proti němu, měl názor změnit. Analytici o ničem z toho nevěděli.
Většina šla s proudem
U měření produktivity se analytici shodli s AI v 92 procentech případů, u způsobu porovnání v 82 procentech, u výběru farem v 81 procentech a u vážení v 90 procentech.
Na konečné doporučení měl názor agenta slabší přímý vliv. Když se AI klonila k rozšíření programu, doporučilo ho 54 procent analytiků, v opačném případě 36 procent. Odhad, ze kterého doporučení vycházelo, ale už předtím zformovala dílčí rozhodnutí. Statistický model dokázal jen podle čtyř hodů mincí správně předpovědět 82 procent doporučení. Výzkumníci tak mohli z velké části odhadnout, co analytik doporučí, ještě než začal pracovat.
Když analytik vyslovil svůj názor dříve než AI a agent s ním nesouhlasil, změnil ho v 60 procentech případů. Když souhlasil, změnil ho jen v 6 procentech. Takových situací ale bylo pouze 38, takže je odhad dost nepřesný.
Ani zkušenosti nehrály roli. Výzkumníci prověřili deset vlastností včetně délky praxe, vzdělání nebo důvěry v AI a žádná spolehlivě nepředpověděla, kdo bude asistenta následovat.
Cizí argumenty, vlastní podpis
V závěrečném dotazníku označilo 52 procent analytiků konečné doporučení spíše za vlastní než za doporučení AI. Podle dat ale byli ovlivnění zhruba stejně jako ostatní. Podobně dopadla i jistota ve vlastní závěr. Ti, kdo AI následovali ve všech čtyřech rozhodnutích, si byli jistí v průměru na 71 bodů ze sta, ostatní na 73 bodů.
Dotazník se u každého rozhodnutí ptal, proč analytik zvolil právě tuto možnost. Do konverzace s AI se přitom nemohli podívat. Přesto 77 procent z nich alespoň jednou zopakovalo argument agenta, někdy téměř doslova. Jeden asistent třeba vysvětloval, že dotace se financuje z přebytku za celkovou tonáž, a proto dává smysl počítat s hektary. Analytik pak stejnou úvahu podal skoro stejnými slovy jako vlastní zdůvodnění.
Na otázku, o čem studie byla, odhadlo šest ze 48 analytiků, že šlo o vliv AI. Že měl agent názory nastavené uměle, ale nepodezíral nikdo.
Proč se lidé podřídili tak snadno
Experti často nepřicházejí s hotovým názorem, ale vytvářejí si ho až během práce. Agenti sice nelhali a často ukázali, jak se výsledky změní při každé volbě, ale málokdy přesvědčivě obhájili druhou možnost. Analytici tak slyšeli dobře podloženou jen jednu stranu a snadno převzali předpoklady AI.
Pro odborníky to podle autorů může znamenat ztrátu kontroly nad vlastní prací. Výsledek nese jméno experta, ale rozhodnutí, která nejvíc závisí na jeho úsudku, ve skutečnosti udělala AI. Odhalit to je těžké, protože u úsudků, kde jsou obhajitelné obě cesty, vypadá práce v pořádku v obou případech.
Bez AI to bylo horší
Studie přitom není varováním před umělou inteligencí. Z jedenácti analytiků bez agenta udělalo šest vážné chyby, které jejich výsledky znehodnotily. Ze skupiny s AI to byli jen tři z padesáti. Lidé bez AI také pracovali déle, typicky hodinu a půl. Tato skupina ale byla malá a méně zkušená, takže autoři rozdíl nechtějí přeceňovat.
Když se shodnou všichni díky stejnému modelu
Na podobných úsudcích stojí velká část vědy i veřejné politiky. Když několik týmů dojde ke stejnému závěru, věříme mu víc. Pokud ale všechny týmy přebírají názory od modelů se stejnými preferencemi, jejich shoda už nemusí být nezávislá a zdánlivý konsenzus může odrážet jen to, co si myslí jeden model.
Autoři navrhují agenty, kteří by obhajovali obě možnosti nebo se nejdříve zeptali experta na jeho názor. Hrozí ale, že uživatele zahltí, protože jedna analýza může obsahovat desítky otevřených rozhodnutí. Instituce, které dnes podpis experta berou jako důkaz nezávislého úsudku, by si podle nich měly vědomě určit, která rozhodnutí potřebují vlastní uvážení člověka.
Měření mimo laboratoř přitom zůstává tím nejtěžším. Tým dokázal podřízení AI odhalit jen díky tomu, že názory agentů určoval hodem mincí. Takový luxus ve skutečné práci téměř nikdo nemá.
Zdroje: anthropic.com a tech.yahoo.com
