Velké jazykové modely (LLM) dříve selhávaly při jednoduchých úkolech, jako je manipulace s jednotlivými znaky v textu. To pramení z toho, že text zpracovávají jako tokeny, což jsou shluky znaků nebo celá slova, nikoli jednotlivé písmena. Například v testu, kde model měl nahradit všechna "r" písmenem "l" ve větě "I really love a ripe strawberry" a pak všechna "l" nahradit "r", starší modely jako GPT-3.5-turbo odpovídaly chybně: "I lealll love a liple strallbeelly". GPT-4-turbo se pokusil o "I rearry rove a ripe strawberly", ale stále selhal v detailech. Teprve modely jako GPT-4.1 začaly úkol zvládat správně, bez chyb, a to i bez dodatečného uvažování. Podobně Claude Sonnet 4 byl prvním modelem od Anthropic, který to zvládl konzistentně.
Tento pokrok se projevuje i v novějších verzích. GPT-5-mini a GPT-5 odpovídají správně "I rearry rove a ripe strawberry", a to i bez zapnutého uvažování. Claude Sonnet 4.5 však odmítá úkoly s textem, který nevypadá jako normální jazyk, kvůli bezpečnostním filtrům. Autor blogu Tom Burkert testoval tyto modely na různých variantách a zjistil, že pokrok nastal přibližně současně u modelů od OpenAI a Anthropic, což naznačuje generační posun.
Počítání znaků a jeho výzvy
Počítání znaků bylo pro LLM notoricky obtížné. Například ve větě "I wish I could come up with a better example sentence" selhávaly starší modely při sčítání znaků v jednotlivých slovech, i když je spočítaly správně samostatně. GPT-4.1 byl prvním, který to zvládl spolehlivě, ale novější GPT-5 ve všech velikostech (včetně Nano) to dokáže i bez uvažování. Claude Sonnet modely to zvládnou, pokud mají povoleno uvažování.
Další test zahrnoval počítání specifických znaků, jako "r" ve slově "strawberry". Starší modely selhávaly, ale GPT-5 to zvládá konzistentně, i když při variantách jako "strawberrry" občas chybí v identifikaci. Tom Burkert poznamenal, že tyto modely nyní manipulují znaky spolehlivěji, přestože jejich architektura je založena na tokenech. V diskuzi na Hacker News uživatel simonw upozornil, že systémový prompt pro Claude 3.7 Sonnet obsahoval instrukce pro explicitní počítání, ale u novějších modelů jako Claude 4 už není potřeba.
Dekódování Base64 a ROT13
Testy s kódováním ukazují další zlepšení. Tom Burkert použil větu "Hi, how are you doing? Do you understand the cipher?", zakódovanou ROT20 (varianta Caesarovy šifry) jako "Bc, biq uly sio xicha? Xi sio ohxylmnuhx nby wcjbyl?", a pak Base64: "QmMsIGJpcSB1bHkgc2lvIHhpY2hhPyBYaSBzaW8gb2h4eWxtbnVoeCBuYnkgd2NqYnlsPw==". Starší modely jako GPT-3.5-turbo selhaly v dekódování. GPT-4.1 dekódoval Base64 správně, ale selhal u ROT20. GPT-5-mini a GPT-5 zvládly obojí, stejně jako Gemini-2.5-pro.
Claude Sonnet 4.5 odmítl úkol kvůli bezpečnosti, protože text vypadal jako obfuskace. Modely jako Qwen-235b potřebovaly nápovědu "Deciper and answer this", ale s uvažováním uspěly. Tom Burkert zdůraznil, že novější modely dekódují i neanglický text, což naznačuje skutečné porozumění algoritmu, ne jen zapamatování vzorů.
Využití a nových metod
Klement Gunndu v článku na dev.to popisuje, jak LLM nyní zvládají úkoly jako obrácení slova "algorithm" nebo počítání "a" ve "banana management" s přesností nad 95 %. Dříve modely jako GPT-4 selhávaly, ale nyní to zvládají. Gunndu uvádí příklady: generování kódu s přesnými konvencemi (např. proměnné s 8 znaky končící "_val"), extrakce dat do JSON bez chyb nebo tvorba textu s limity jako 280 znaků pro Twitter.
Další informace z internetu hovoří o metodě "Character-Level Manipulation via Divide and Conquer", která rozděluje úkoly na dekompozici tokenů, manipulaci znaků a rekonstrukci. Tento přístup zvyšuje přesnost v úkolech jako vkládání nebo mazání znaků bez dodatečného tréninku, testováno na GPT-3.5. Atomizované struktury slov transformují slova do explicitních sekvencí znaků, což pomáhá při úkolech jako oprava pravopisu nebo generování kódu.
Budoucnost a limity
Gunndu zdůrazňuje, že tato schopnost umožňuje přesné formátování, jako JSON bez chyb nebo kód s limity 80 znaků na řádek. Tom Burkert poznamenává, že modely jako GPT-5 a Claude Sonnet 4.5 generalizují Base64 i na nesmyslný text, což ukazuje hlubší porozumění. V diskuzi na Hacker News se objevují testy jako obrácení "strawberry" nebo extrakce každého třetího znaku z "artificial intelligence", kde nové modely dosahují 95 % přesnosti oproti dřívějším 40 %.
Tyto zlepšení mají aplikace v datovém zpracování, generování kódu nebo kreativním psaní s omezeními. Přesto zůstávají výzvy, jako nesoulad s tokenizací, ale metody jako divide and conquer je řeší integrací tokenů se znakovou úrovní.
