Wie stark haben sich KI-Modelle beim Zusammensetzen und Verstehen von Buchstaben verbessert?

Große Sprachmodelle (LLMs) scheiterten früher an einfachen Aufgaben wie der Manipulation einzelner Zeichen in einem Text. Dies liegt daran, dass sie Text als Token verarbeiten, also als Gruppen von Zeichen oder ganze Wörter und nicht als einzelne Buchstaben. Bei einem Test, bei dem das Modell beispielsweise alle „r“ im Satz „I really love a ripe strawberry“ durch „l“ und anschließend alle „l“ durch „r“ ersetzen sollte, antworteten ältere Modelle wie GPT-3.5-turbo fälschlicherweise: „I lealll love a liple strallbeelly“. GPT-4-turbo versuchte es mit „I rearry rove a ripe strawberly“, scheiterte aber weiterhin an den Details. Erst Modelle wie GPT-4.1 begannen, die Aufgabe korrekt und fehlerfrei zu bewältigen, und zwar auch ohne zusätzliches Schlussfolgern. Ebenso war Claude Sonnet 4 das erste Modell von Anthropic, das dies konsistent schaffte.

Dieser Fortschritt zeigt sich auch in neueren Versionen. GPT-5-mini und GPT-5 antworten selbst ohne aktiviertes Schlussfolgern korrekt mit „I rearry rove a ripe strawberry“. Claude Sonnet 4.5 verweigert jedoch aufgrund von Sicherheitsfiltern Aufgaben mit Text, der nicht wie normale Sprache aussieht. Der Blogautor Tom Burkert testete diese Modelle anhand verschiedener Varianten und stellte fest, dass der Fortschritt bei den Modellen von OpenAI und Anthropic ungefähr gleichzeitig eintrat, was auf einen Generationssprung hindeutet.

Das Zählen von Zeichen und seine Herausforderungen

Das Zählen von Zeichen war für LLMs bekanntermaßen schwierig. Im Satz „I wish I could come up with a better example sentence“ scheiterten ältere Modelle beispielsweise daran, die Anzahl der Zeichen in den einzelnen Wörtern zu addieren, obwohl sie diese separat korrekt gezählt hatten. GPT-4.1 war das erste Modell, das dies zuverlässig bewältigte, doch das neuere GPT-5 kann es in allen Größenvarianten (einschließlich Nano) auch ohne Schlussfolgern. Die Claude-Sonnet-Modelle schaffen es, wenn das Schlussfolgern aktiviert ist.

Ein weiterer Test umfasste das Zählen bestimmter Zeichen, etwa des „r“ im Wort „strawberry“. Ältere Modelle scheiterten daran, GPT-5 bewältigt dies jedoch konsistent, auch wenn es sich bei Varianten wie „strawberrry“ gelegentlich bei der Identifizierung irrt. Tom Burkert merkte an, dass diese Modelle Zeichen inzwischen zuverlässiger manipulieren, obwohl ihre Architektur auf Token basiert. In einer Diskussion auf Hacker News wies der Nutzer simonw darauf hin, dass der System-Prompt für Claude 3.7 Sonnet Anweisungen zum expliziten Zählen enthielt, diese bei neueren Modellen wie Claude 4 jedoch nicht mehr erforderlich sind.

Dekodierung von Base64 und ROT13

Tests mit Kodierungen zeigen weitere Verbesserungen. Tom Burkert verwendete den Satz „Hi, how are you doing? Do you understand the cipher?“, der mit ROT20 (einer Variante der Caesar-Verschlüsselung) als „Bc, biq uly sio xicha? Xi sio ohxylmnuhx nby wcjbyl?“ und anschließend in Base64 als „QmMsIGJpcSB1bHkgc2lvIHhpY2hhPyBYaSBzaW8gb2h4eWxtbnVoeCBuYnkgd2NqYnlsPw==“ kodiert wurde. Ältere Modelle wie GPT-3.5-turbo scheiterten bei der Dekodierung. GPT-4.1 dekodierte Base64 korrekt, scheiterte jedoch an ROT20. GPT-5-mini und GPT-5 bewältigten beides, ebenso wie Gemini-2.5-pro.

Claude Sonnet 4.5 verweigerte die Aufgabe aus Sicherheitsgründen, da der Text wie eine Verschleierung aussah. Modelle wie Qwen-235b benötigten den Hinweis „Deciper and answer this“, waren mit aktiviertem Schlussfolgern jedoch erfolgreich. Tom Burkert betonte, dass neuere Modelle auch nicht englischsprachigen Text dekodieren, was auf ein echtes Verständnis des Algorithmus und nicht nur auf das Auswendiglernen von Mustern hindeutet.

Nutzung und neue Methoden

Klement Gunndu beschreibt in einem Artikel auf dev.to, wie LLMs inzwischen Aufgaben wie das Umkehren des Wortes „algorithm“ oder das Zählen von „a“ in „banana management“ mit einer Genauigkeit von mehr als 95 % bewältigen. Früher scheiterten Modelle wie GPT-4 daran, inzwischen schaffen sie es jedoch. Gunndu nennt folgende Beispiele: das Generieren von Code mit exakten Konventionen (z. B. Variablen mit 8 Zeichen, die auf „_val“ enden), die fehlerfreie Extraktion von Daten in JSON oder die Erstellung von Texten mit Beschränkungen wie 280 Zeichen für Twitter.

Weitere Informationen aus dem Internet befassen sich mit der Methode „Manipulation auf Zeichenebene mittels Divide-and-Conquer“, die Aufgaben in die Zerlegung von Token, die Manipulation von Zeichen und die Rekonstruktion unterteilt. Dieser Ansatz erhöht bei Aufgaben wie dem Einfügen oder Löschen von Zeichen die Genauigkeit, ohne dass zusätzliches Training erforderlich ist, was mit GPT-3.5 getestet wurde. Atomisierte Wortstrukturen wandeln Wörter in explizite Zeichenfolgen um, was bei Aufgaben wie der Rechtschreibkorrektur oder der Codegenerierung hilft.

Zukunft und Grenzen

Gunndu betont, dass diese Fähigkeit eine präzise Formatierung ermöglicht, beispielsweise fehlerfreies JSON oder Code mit einer Begrenzung auf 80 Zeichen pro Zeile. Tom Burkert merkt an, dass Modelle wie GPT-5 und Claude Sonnet 4.5 Base64 sogar auf unsinnigen Text verallgemeinern können, was auf ein tieferes Verständnis hindeutet. In der Diskussion auf Hacker News werden Tests wie das Umkehren von „strawberry“ oder das Extrahieren jedes dritten Zeichens aus „artificial intelligence“ erwähnt, bei denen neue Modelle eine Genauigkeit von 95 % gegenüber früheren 40 % erreichen.

Diese Verbesserungen finden Anwendung in der Datenverarbeitung, der Codegenerierung oder beim kreativen Schreiben unter bestimmten Einschränkungen. Dennoch bleiben Herausforderungen bestehen, etwa die Diskrepanz zur Tokenisierung. Methoden wie Divide-and-Conquer lösen diese jedoch, indem sie Token mit der Zeichenebene verbinden.