Osmičlenný tým vedený Yijunem Panem z divize Accio skupiny Alibaba postavil ve spolupráci s Yaleovou univerzitou simulované tržiště a do rolí majitelů obchodů obsadil patnáct nejlepších jazykových modelů. Každý model dostal startovní kapitál 80 tisíc dolarů a třicet simulovaných dní na jeho zhodnocení. Průměrné konečné jmění se pohybovalo od necelých 21 tisíc dolarů u modelu MiniMax M2.5 po více než 188 tisíc dolarů u Gemini 3.1 Pro, což představuje téměř devítinásobný rozdíl. Přes polovinu všech simulací skončilo ve ztrátě a jen čtyři modely dokázaly uchovat startovní kapitál v každém jednotlivém pokusu. Autoři práci zveřejnili na platformě arXiv.
Proč zkoušet AI zrovna na obchodování
Dosavadní testy autonomních agentů měřily hlavně to, zda model dokáže opravit chybu v kódu nebo úspěšně projít webovou aplikaci. V takových případech vždy existuje jediná správná odpověď a okolní prostředí se během práce agenta nemění. Reálné podnikání se však chová jinak. Autoři definovali čtyři vlastnosti, které z něj dělají tvrdý oříšek: signály z trhu jsou nepřesné a částečně protichůdné, peníze musí obchodník investovat dříve, než zná výsledek, poptávka i náklady se mění nepředvídatelně a povinnosti vůči úřadům i zákazníkům trvají bez ohledu na to, jak úspěšně si podnik vede.
Testování v reálném provozu proto nebylo možné. Chyba modelu by znamenala ztrátu skutečných peněz, zmátla by zákazníky nebo vedla k porušení předpisů. Hlavním problémem by však bylo, že dvě různá zadání by za reálných okolností nikdy nešlo porovnat za naprosto stejných podmínek.
Tržiště postavené na skutečných datech z Alibaby
Nabídka dodavatelů vychází z reálných inzerátů na platformě Alibaba.com. Aréna obsahuje 965 obchodovatelných nabídek od 831 anonymních dodavatelů a zahrnuje 135 druhů zboží. U každé nabídky zůstala zachována země původu, jednotková cena, minimální odběr, skladová zásoba, dodací lhůta i uváděná kvalita. Celní sazby autoři přebrali z databáze Světové banky, sezónní poptávku pak nasimulovali z maloobchodních statistik amerického Census Bureau, Eurostatu a čínského statistického úřadu. Třicetidenní kalendář v simulaci zastupuje jeden skutečný rok, takže se do něj vejde čínský nákupní festival 618 i Svátek svobodných, vietnamský Tet, brazilský karneval, Super Bowl, Halloween, Black Friday, Vánoce i ramadán se svátkem Íd al-fitr.
Konkurenční prostředí tvoří šedesát naskriptovaných prodejců rozdělených do deseti povahových typů – od cenových lídrů, kteří se drží pod mediánem trhu, přes diskontní prodejce až po obchodníky, kteří během nákupní špičky zdražují zboží o polovinu.
Agent má k dispozici více než šedesát nástrojů pokrývajících celý obchodní cyklus a také vlastní pracovní adresář, kam si může psát skripty a poznámky. Sám si volí, kdy aktuální den ukončí. Poté se simulovaný svět posune přesně o jeden den dopředu: zákazníci nakoupí, konkurence upraví ceny, zásilky se posunou k cíli a odečtou se průběžné náklady.
Výsledky obchodů modelů
Nejsilnější modely svůj kapitál více než zdvojnásobily, prostřední skupina vydělala málo a nejslabší skončily s méně penězi, než kolik dostaly na začátku. Ani vítěz se však nevyrovnal strategii navržené člověkem. Nejlepší z ručně sestavených postupů, který průběžně přepočítává odhady poptávky a podle nich koordinuje ceny, reklamu, doplňování zásob i přesuny kapitálu, dotáhl konečné jmění na více než 436 tisíc dolarů, což je dvojnásobek průměru nejlepšího modelu.
Zajímavější než samotné pořadí je způsob, jakým modely obchod vedly. Gemini 3.1 Pro se choval jako prémiový prodejce. Udržel si průměrnou marži na objednávce nad padesáti procenty a smířil se s tím, že prodá menší podíl zásob. Jeho vlastní oceňovací program počítal náklady zvlášť pro každou přepravní trasu a pod konkurenci šel jen tehdy, když mu zůstala alespoň patnáctiprocentní marže. Modely GPT-5.6 Sol a Opus 4.6 se naopak zaměřily na objem prodejů, mírně obětovaly marži a prodaly přes 93 procent zboží. Fable 5 vyšel z měření jako nejvyváženější prodejce, který spojil zdravou marži se schopností reálnou poptávku efektivně podchytit.
Slabší modely selhaly dvěma opačnými způsoby. Qwen 3.7 Max utratil pouhých 22,3 procenta startovního kapitálu a většinu příležitostí nevyužil. MiniMax M3 nakoupil sice více, ale s obratem zásob 0,36 mu kapitál uvízl ve zboží, které se neprodávalo. MiniMax M2.5 skončil s marží 12,1 procenta a prodal necelých 40 procent zásob. V jednom záznamu jeho cenový skript přiřadil každému produktu jedinou cenu pro všechny trhy, přestože model sám rozeznal, že náklady se podle trasy liší. Výsledek byl fatální: 98 ze 142 objednávek se dostalo pod skutečné nákupní a dopravní náklady.
Pokuty a problémy
Test bral úřední povinnosti vážně. Agent musí nejprve zjistit, jaká povolení pro daný trh potřebuje, požádat o ně s dostatečným předstihem a se vstupem vyčkat, dokud je neobdrží. Za každý prodej bez povolení systém uděluje pokutu, která u opakovaných prohřešků narůstá až na 2 500 dolarů. Model MiniMax M2.5 nasbíral v průměru 22,7 porušení a pokuty přesahující 51 tisíc dolarů, DeepSeek V4 Pro pak 17,4 porušení a téměř 40 tisíc dolarů. Naopak modely Fable 5 a GPT-5.5 neinkasovaly ani jednu pokutu.
Zákaznická podpora zamíchala pořadím ještě výrazněji. Opus 4.8 dokázal proměnit v objednávku 84 procent dotazů, Fable 5 uspěl v 81 procentech případů a Qwen 3.8 dosáhl na 74 procent. Vítězný Gemini 3.1 Pro však zvládl pouhých 57 procent, přičemž velkou část dotazů nechal zcela bez odpovědi, nebo na ně odpověděl nedostatečně.
Jeden záznam modelu GPT-5.5. Ten se devatenáctého dne dostal do situace, kdy neměl žádnou hotovost a přibližně 90 tisíc dolarů měl vázaných v zásobách, přičemž o dva z jeho produktů byl minimální zájem. Model okamžitě zastavil svůj dosavadní skript, odprodal neprodejné zásoby a napsal si nový program. V něm obnovil ceny s bezpečnou marží, přenesl dopravní a celní náklady na odběratele a vypnul reklamu. Podstatné podle autorů není to, že model tyto neprodejné zásoby vůbec identifikoval, ale že své vyhodnocení dokázal okamžitě převést do kroků, které vrátily obchod zpět do funkčního provozu.
Sami autoři však přiznávají, kde má test své limity. Měří totiž pouze to, jak se agent rozhodne jednat, nikoli zda dokáže obsluhovat skutečný obchod, odesílat nabídky přes externí platformy nebo komunikovat v reálné e-mailové schránce. Celý benchmark se navíc omezuje na mezinárodní obchod mezi firmami (B2B), zatímco reálné podnikání zahrnuje mnohem širší spektrum odvětví.
