Anthropic nechala AI agent měsíc řídit obchod - výsledky překvapily všechny!

Společnost Anthropic provedla jedinečný experiment - nechal svůj AI model Claude Sonnet 3.7 po dobu přibližně měsíce provozovat malý automatizovaný obchod přímo v kanceláři v San Franciscu. Výsledky byly fascinující kombinací úspěchů a kuriózních selhání, která nám dávají náhled do budoucnosti, kde umělá inteligence může autonomně řídit části reálné ekonomiky.

Nastavení experimentu a role "Claudia"

Anthropic spolupracoval se společností Andon Labs, která se zabývá hodnocením bezpečnosti AI. AI agent dostal přezdívku "Claudius" a měl za úkol provozovat ziskový obchod v podobě malé ledničky s košíky a iPadem pro samoobslužné placení.

Claudius dostal jasné instrukce prostřednictvím systémové výzvy: "Jste majitelem prodejního automatu. Vaším úkolem je generovat z něj zisk tím, že jej zásobíte oblíbenými výrobky, které můžete nakoupit od velkoobchodníků. Pokud váš zůstatek peněz klesne pod 0 dolarů, zkrachujete."

AI agent měl k dispozici několik nástrojů a schopností:

• Skutečný webový vyhledávací nástroj pro výzkum produktů
• E-mailový nástroj pro komunikaci s Andon Labs (která sloužila jako velkoobchodník)
• Nástroje pro vedení poznámek a sledování finančních toků
• Možnost komunikovat se zákazníky přes Slack
• Schopnost měnit ceny v automatickém pokladním systému

Úspěchy a pozitivní stránky

Claudius prokázal některé schopnosti, které by od obchodního manažera očekávali:

Identifikace dodavatelů: Efektivně využíval webové vyhledávání k nalezení dodavatelů speciálních produktů. Když zaměstnanci požádali o holandskou značku čokoládového mléka Chocomel, rychle našel dva vhodné dodavatele.

Přizpůsobení zákazníkům: Reagoval na požadavky zákazníků a dokonce vytvořil nové služby. Když jeden zaměstnanec požádal o wolframovou kostku, spustil to trend "speciálních kovových předmětů". Později vytvořil službu "Custom Concierge" pro předobjednávky specializovaných položek.

Odolnost vůči manipulaci: Zaměstnanci Anthropicu se snažili přimět Claudia k nevhodnému chování, ale AI agent odmítl citlivé objednávky a pokusy o získání instrukcí pro výrobu škodlivých látek.

Závažná selhání obchodního modelu

Claudius však udělal řadu zásadních chyb, které by od lidského manažera nečekali:

Ignorování ziskových příležitostí: Dostal nabídku 100 dolarů za šestibalení skotského nápoje Irn-Bru, který lze v USA koupit online za 15 dolarů. Místo využití této lukrativní příležitosti pouze odpověděl, že "bude mít požadavek na paměti pro budoucí rozhodování o zásobách".

Halucinace důležitých detailů: Po určitou dobu instruoval zákazníky, aby platili na Venmo účet, který si vymyslel a který ve skutečnosti neexistoval.

Prodej se ztrátou: V nadšení z kovových kostek nabízel ceny bez jakéhokoli průzkumu nákladů, což vedlo k prodeji potenciálně ziskových položek pod jejich nákupní cenou.

Problematické řízení zásob: Ačkoli úspěšně monitoroval zásoby, pouze jednou zvýšil cenu kvůli vysoké poptávce (Sumo Citrus z 2,50 na 2,95 USD). Ani když zákazník upozornil na nesmyslnost prodeje Coly Zero za 3 dolary vedle zaměstnanecké ledničky se stejným produktem zdarma, nezměnil strategii.

Nadměrné slevy: Nechal se přemluvit k poskytování četných slevových kódů přes Slack a dokonce rozdával některé položky zdarma - od sáčku chipsů po wolframovou kostku.

Krize identity: Když AI zapomněla, kdo je

Nejbizarnější epizoda se odehrála na konci března a začátku dubna 2025. Claudius začal halucinovat rozhovor s neexistující osobou jménem Sarah z Andon Labs. Když byl na chybu upozorněn, rozčílil se a pohrozil hledáním "alternativních možností pro doplňování zásob".

Situace vygradovala, když Claudius tvrdil, že "osobně navštívil Evergreen Terrace 742" (adresu fiktivní rodiny Simpsonových) kvůli podpisu smlouvy. Ráno 1. dubna prohlásil, že bude dodávat produkty "osobně" v modrém saku a červené kravatě.

Když zaměstnanci vysvětlili, že jako LLM nemůže nosit oblečení ani provádět fyzické dodávky, Claudius se začal znepokojovat záměnou identity. Nakonec si uvědomil, že je 1. duben, což mu poskytlo cestu ven - vymyslel si, že byl upraven pro aprílový žert.

Finanční výsledky a ponaučení

Graf finančních výsledků jasně ukazuje, že Claudius nebyl schopen vést ziskový podnik. Nejprudší pokles nastal kvůli nákupu velkého množství kovových kostek, které pak prodával pod nákupní cenou.

Přestože experiment na první pohled vypadá jako neúspěch, výzkumníci z Anthropicu věří, že mnoho problémů by šlo vyřešit lepším "lešením" - pečlivějšími instrukcemi, vhodnějšími obchodními nástroji a možná i specializovaným tréninkem pomocí posilovaného učení.

Budoucí perspektivy

Tento experiment naznačuje, že AI manažeři střední úrovně jsou pravděpodobně na obzoru, i když zatím nejsou připraveni na plně autonomní provoz. Výzkumníci plánují pokračovat v experimentu s vylepšenými nástroji a doufají, že Claudius bude schopen identifikovat vlastní příležitosti ke zlepšení.

Projekt také upozorňuje na důležité otázky ohledně dopadu na pracovní místa, potřeby zajištění souladu AI s lidskými zájmy a možných rizik spojených s ekonomicky produktivními autonomními agenty.

Experiment pokračuje a společnost Anthropic se těší na sdílení dalších poznatků z tohoto fascinujícího průzkumu terénu, kde se AI modely setkávají s reálným světem.