Co odděluje člověka, který z programovacího asistenta vytáhne maximum, od toho, kdo se zasekne hned u prvního problému? Anthropic prošel zhruba 400 000 relací s nástrojem Claude Code a odpověď překvapila. Není to schopnost psát kód. Je to znalost oboru, ve kterém člověk pracuje.
Výzkumníci sledovali relaci od zhruba 235 000 lidí mezi říjnem 2025 a dubnem 2026. Použili k tomu nástroj, který chrání soukromí, takže nikdo nečetl jednotlivé přepisy. Šlo jim o tři věci: jaká práce se s asistentem dělá, kdo ji dělá a jestli se daří.
Vy rozhodujete co, asistent řeší jak
Začněme tím, jak vlastně taková spolupráce probíhá. Výzkumníci rozdělili každé rozhodnutí v relaci na dva druhy. Plánování znamená, co se má udělat, jaký zvolit přístup a kdy je práce hotová. Provedení je už o detailech: které soubory změnit, jaký kód napsat, jaké příkazy spustit. A tady se ukázala jasná dělba práce. Lidé v průměru udělají kolem 70 procent plánovacích rozhodnutí, ale jen zhruba 20 procent těch prováděcích. Člověk řekne, co chce postavit a asistent vyřeší, jak na to.
Jak moc toho Claude udělá mezi dvěma pokyny? Typické sezení má kolem čtyř výměn. Každý pokyn od člověka spustí v průměru asi deset akcí asistenta, někdy i přes sto. Při každé z nich čte Claude soubory, upravuje kód, spouští příkazy a napíše průměrně 2 400 slov výstupu. Čím víc kontroly si člověk nechá nad prováděním, tím méně toho asistent udělá sám. A naopak, když mu člověk svěří i plánování, počet akcí vyletí nahoru.
Účetní, který nikdy nepsal v Pythonu, může být expert
Výzkumníci nehodnotili odbornost podle pracovní pozice ani podle obecných schopností člověka. Sledovali odbornost ke konkrétnímu úkolu. Co to znamená v realitě? Zkušený inženýr, který se poprvé ptá na Rust, je v Rustu začátečník. Naopak účetní, který nikdy nesáhl na Python, ale Claudu přesně řekne, jaká pravidla má skript pro odsouhlasení dodržet, a ukáže případ, na kterém by to při měsíční uzávěrce ztroskotalo, je v tom úkolu expert.
Odbornost rozpoznával klasifikátor podle tří signálů. Jak přesně člověk formuluje pokyny. Co si nechá od asistenta ověřit. A jestli spíš člověk opravuje AI, nebo AI opravuje člověka.
Hlavní rozdíl mezi začátečníky a experty se projevil ve výstupu. U sezení začátečníků spustí jeden pokyn asi pět akcí a kolem 600 slov. U expertů je to víc než dvojnásobek akcí a pětinásobek výstupu, tedy zhruba 3 200 slov. Čím víc toho člověk o oboru ví, tím víc kvalitní práce z asistenta dostane.
Práce se za sedm měsíců proměnila
Skladba toho, k čemu lidé Claude Code používají, se za sledované období znatelně posunula. Nejvýraznější změnu zaznamenali u oprav rozbitého kódu. Jejich podíl spadl z 33 na 19 procent. Místo toho narostla práce kolem kódu. Provoz softwaru, tedy nasazování, konfigurace a spouštění, vyrostl ze 14 na 21 procent. Psaní dokumentů a analýza dat se zhruba zdvojnásobily, a to z asi 10 na 20 procent relací.
A nešlo jen o objem. Úkoly samotné získaly na hodnotě. Výzkumníci ji odhadovali srovnáním s nabídkami práce na trhu pro nezávislé profesionály. Podle tohoto měřítka stoupla hodnota průměrné relace mezi říjnem a dubnem o 27 procent. Stavění, provoz i opravy zdražily zhruba o třetinu a víc. Autoři přiznávají, že tyhle odhady jsou hrubé, takže slouží spíš ke srovnání úkolů mezi sebou než jako přesné částky.
Začátečníci to vzdávají, experti se vrátí do hry
Daří se víc těm, kdo přinášejí znalost oboru. To platí napříč všemi měřítky úspěchu, která výzkumníci použili. Relace s hodnocením začátečníka dosáhlo nejpřísnější laťky, takzvaného ověřeného úspěchu, v 15 procentech případů. Aspoň částečně uspělo v 77 procentech. Relace od pokročilých a výš dosáhla ověřeného úspěchu v 28 až 33 procentech a částečného úspěchu v 91 až 92 procentech.
Zajímavé je, kde se ten skok odehrává. Většinu zisku přinese posun od začátečníka k pokročilému. Mezi pokročilým a expertem už je rozdíl mírný. Stačí tedy oboru solidně rozumět, dokonalá specializace přidá jen o trochu víc.
Nejvíc to vynikne, když se něco pokazí. U relací, která narazila na problém, vzrostl podíl ověřených úspěchů ze 4 procent u začátečníků na 15 procent u expertů. A pak je tu opačná strana. Pokud člověk projekt vzdal a nenapsal jediný řádek kódu, mluví výzkumníci o opuštěné relaci. U začátečníků takhle skončilo 19 procent problémových relací. U všech ostatních jen 5 až 7 procent. Méně zkušení lidé to prostě vzdají, když se trápí. Zkušený člověk umí asistenta nasměrovat zpátky správným směrem.
Profese rozhoduje míň, než byste čekali
Co když ale za úspěchem stojí prostě to, že programátoři jsou programátoři? Data tuhle domněnku moc nepodporují.
Lidé z oborů kolem softwaru dosáhli ověřeného úspěchu zhruba ve 30 procentech relací. Lidé z ostatních profesí ve 26 procentech. U relací, kde vznikl aspoň jeden řádek kódu, to bylo 34 a 29 procent. Pětibodový rozdíl je malý a za sedm měsíců se ani nerozšířil, ani nesmrskl, přestože úspěšnost rostla u obou skupin.
A teď to nejlepší. U sezení produkujících kód se každá z deseti největších profesí v datech vešla do sedmi bodů od softwarových inženýrů. Nejvýš na ověřeném úspěchu skončili lidé z manažerských pozic, kousek nad inženýry. Možná za to mohou manažerské dovednosti, které se přenášejí do řízení asistenta. Schopnost zadat úkol jasně a říct, co od něj čekám, se zkrátka hodí, ať už mluvíte s člověkem, nebo s programem.
Co studie ještě neumí změřit
Autoři jsou k závěrům opatrní. Sami píší, že jde o předběžné výsledky. Nevidí, jestli kód napsaný v relaci někdo nakonec použil, nebo skončil v koši. Z analýzy navíc vypadla veškerá neinteraktivní práce, tedy spousta automatizovaného běhu, kde Claud pracuje bez člověka u klávesnice. A všechna hodnocení stojí na tom, jak model přečte přepis relace, což se těžko ověřuje ve velkém.
Studii sepsali Zoe Hitzig, Maxim Massenkoff, Eva Lyubich, Shaoyi Zhang, Ryan Heller a Peter McCrory z výzkumného týmu Anthropicu.
