Jeder, der schon einmal mit KI an komplexeren Aufgaben gearbeitet hat, kennt diesen frustrierenden Moment. Das Modell arbeitet eine Weile, es sieht vielversprechend aus, und dann bleibt es stecken. Es verbessert die Ergebnisse einfach nicht mehr und wiederholt immer wieder dieselben Ansätze. GLM-5.1, das neue Modell des chinesischen Labors ZAI, hat darauf eine Antwort gefunden. GLM-5.1 wurde so konzipiert, dass es wesentlich länger produktiv bleibt als seine Vorgänger. Statt seine Ideen nach den ersten fünfzig Versuchen auszuschöpfen, kann es Hunderte oder Tausende Runden lang arbeiten und bei jedem weiteren Versuch neue, bessere Lösungen finden.
600 Versuche und bessere Ergebnisse als die Konkurrenz?
Das Team hinter GLM-5.1 nutzte den offenen Benchmark VectorDBBench, eine Aufgabe zur Optimierung einer Datenbank für die Suche nach ähnlichen Vektoren. Die Regeln: Das Modell erhält ein Grundgerüst in Rust und soll es auf eine möglichst hohe Leistung optimieren, gemessen in Abfragen pro Sekunde. Das beste Ergebnis, das jemals jemand in diesem Test innerhalb von 50 Werkzeugaufrufen erreicht hatte, lag bei 3.547 Abfragen pro Sekunde durch Claude Opus 4.6. GLM-5.1 erhielt freie Hand und durfte ohne Zeitbegrenzung arbeiten.
Was geschah? Nach sechshundert Versuchen und mehr als sechstausend Werkzeugaufrufen erreichte das Modell 21.500 Abfragen pro Sekunde. Das ist ungefähr das Sechsfache des besten Ergebnisses, das in einer einzelnen Sitzung erzielt wurde.
Der Fortschritt verlief nicht linear, denn die Grafik sieht wie eine Treppe aus. Das Modell optimierte eine Weile innerhalb einer bestimmten Strategie, analysierte anschließend seine eigenen Ergebnisse, identifizierte Probleme und wechselte zu einem völlig neuen Ansatz. Solche strukturellen Übergänge fanden während des gesamten Durchlaufs sechsmal statt. Um den neunzigsten Versuch herum wechselte das Modell beispielsweise vom Durchsuchen der gesamten Datenbank zur Suche in Clustern, wodurch die Leistung auf 6.400 Abfragen pro Sekunde stieg. Um den zweihundertvierzigsten Versuch herum führte es ein zweistufiges Verfahren mit einer groben Suche und einer präzisen Nachsuche ein, woraufhin die Leistung auf 13.400 stieg.
Duell mit Claude Opus 4.6
Das zweite Szenario war noch anspruchsvoller. Der Benchmark KernelBench misst, ob ein Modell standardmäßigen PyTorch-Code in einen schnelleren GPU-Kernel mit identischen Ausgaben umschreiben kann. Die dritte Teststufe umfasst vollständige Architekturen wie MobileNet, VGG oder Mamba, insgesamt fünfzig Probleme. Zum Vergleich: torch.compile erreicht mit den Standardeinstellungen eine 1,15-fache Beschleunigung. Mit maximalen Einstellungen eine 1,49-fache.
GLM-5.1 erreichte eine 3,6-fache Beschleunigung und fand weiterhin Verbesserungspotenzial. Claude Opus 4.6 kam auf das 4,2-Fache und war in diesem Test am stärksten. Das ältere GLM-5 und Claude Opus 4.5 erreichten schneller ihre Obergrenze und verbesserten die Ergebnisse anschließend nicht mehr. GLM-5.1 blieb wesentlich länger nützlich. Fairerweise muss man hier einräumen, dass Claude Opus 4.6 gewonnen hat. Die Autoren schreiben das selbst, ohne nach Ausreden zu suchen. GLM-5.1 übertrifft jedoch alle anderen getesteten Modelle.
Eine Linux-Desktop-Anwendung in 8 Stunden
Die dritte Aufgabe klang einfach: Erstelle von Grund auf einen funktionsfähigen Linux-Desktop als Webanwendung. Ohne Vorlagen, ohne Designvorgaben und ohne fortlaufende Anweisungen.
Die meisten Modelle erstellen bei einer solchen Aufgabe ein grundlegendes Gerüst mit einer Hauptleiste und einem Fenster und erklären die Aufgabe anschließend für erledigt. GLM-5.1 erhielt einen einfachen Rahmen: Sieh dir nach jeder Runde an, was du erstellt hast, finde heraus, was fehlt oder falsch ist, und arbeite weiter. Die Schleife lief acht Stunden lang. Das Ergebnis war eine funktionale Desktop-Umgebung im Browser mit Dateimanager, Terminal, Texteditor, Systemmonitor, Taschenrechner und Spielen. Alles war visuell konsistent und zu einem stimmigen Ganzen verbunden.
Das ist genau die Art von Ergebnis, die in kurzen Sitzungen schlicht nicht entsteht.
Benchmarks, Open Source und wo GLM-5.1 steht
Im Test SWE-Bench Pro, der die Fähigkeit misst, reale Probleme aus Softwareprojekten zu lösen, erzielte GLM-5.1 einen Wert von 58,4. GPT-5.4 kommt auf 57,7, Claude Opus 4.6 auf 57,3 und Gemini 3.1 Pro auf 54,2. GLM-5.1 führt diese Rangliste an.
Im Benchmark NL2Repo, der die Generierung vollständiger Repositorys aus natürlicher Sprache testet, erreichte GLM-5.1 42,7 Punkte gegenüber 35,9 bei der Vorgängerversion GLM-5. Claude Opus 4.6 führt hier mit 49,8, doch der Sprung zwischen den GLM-Versionen ist deutlich.
Im Cybersicherheitstest CyberGym erreichte GLM-5.1 einen Wert von 68,7, während GLM-5 auf 48,3 kam. Hier ist die Verbesserung am größten.
Das Modell wurde unter der MIT-Lizenz veröffentlicht und kann daher frei verwendet, angepasst und eingesetzt werden. Die Gewichte sind auf HuggingFace und ModelScope verfügbar, unterstützt werden die Frameworks vLLM und SGLang. Für Entwickler ist es über api.z.ai und BigModel.cn verfügbar und mit Claude Code sowie OpenClaw kompatibel.
Für Abonnenten des GLM Coding Plan ist das Modell sofort verfügbar, nachdem es in den Einstellungen in "GLM-5.1" umbenannt wurde. Zu Spitzenzeiten verbraucht es das Dreifache des Kontingents, außerhalb der Spitzenzeiten das Doppelte. Bis Ende April gilt jedoch eine Aktion: Außerhalb der Spitzenzeiten wird die Nutzung als ein Credit berechnet.
Die Autoren schreiben selbst, dass die größten Herausforderungen noch bevorstehen: wie man lokale Optima schneller überwindet, wie man über Tausende Schritte hinweg die Kohärenz bewahrt und wie sich Ergebnisse dort zuverlässig bewerten lassen, wo keine Metrik existiert. GLM-5.1 ist ihrer Ansicht nach ein erster Schritt in diese Richtung.
