Das Unternehmen Anthropic hat die Ergebnisse eines gewagten Experiments veröffentlicht, bei dem 16 Instanzen des KI-Modells Claude Opus 4.6 nahezu autonom an der Entwicklung eines C-Compilers arbeiteten. Das Projekt wurde von Nicholas Carlini geleitet, einem Forscher aus dem Safeguards-Team von Anthropic, der die Agenten mit minimaler menschlicher Aufsicht an einer gemeinsamen Codebasis arbeiten ließ.
Zwei Wochen Arbeit und 100.000 Codezeilen
Innerhalb von zwei Wochen und fast 2.000 Claude-Code-Sitzungen entwickelten die KI-Agenten einen in Rust geschriebenen Compiler, der 100.000 Codezeilen umfasst. Die gesamten API-Kosten beliefen sich auf knapp 20.000 Dollar (etwa 410.000 CZK). Der fertige Compiler kann einen bootfähigen Linux-6.9-Kernel für die Architekturen x86, ARM und RISC-V kompilieren.
Carlini nutzte eine neue Funktion namens „agent teams“ (Agententeams), die gemeinsam mit dem Modell Claude Opus 4.6 eingeführt wurde. Jede Claude-Instanz lief in einem eigenen Docker-Container, klonte das gemeinsame Git-Repository, reservierte Aufgaben mithilfe von Sperrdateien und lud den Code nach Abschluss wieder hoch. Kein Orchestrierungsagent überwachte die Arbeit – jede Instanz identifizierte unabhängig das Problem, das am offensichtlichsten erschien, und begann, es zu lösen. Wenn beim Zusammenführen des Codes Konflikte auftraten, lösten die KI-Agenten diese selbst.
Was der Compiler kann und wo seine Grenzen liegen
Der fertige Compiler, den Anthropic auf GitHub veröffentlicht hat, kann eine Reihe bedeutender Open-Source-Projekte kompilieren, darunter PostgreSQL, SQLite, Redis, FFmpeg und QEMU. Er erreichte eine Erfolgsquote von 99 % in der GCC-Torture-Testsuite und kompilierte und startete in dem, was Carlini als den „ultimativen Entwicklertest“ bezeichnete, das Spiel Doom.
Carlini äußerte sich jedoch offen zu den klaren Grenzen des Compilers. Ihm fehlt das für das Booten von Linux aus dem Real Mode erforderliche 16-Bit-x86-Backend, weshalb er für diesen Schritt GCC aufruft. Der eigene Assembler und Linker sind weiterhin fehlerhaft. Selbst mit allen aktivierten Optimierungen erzeugt er weniger effizienten Code als GCC mit vollständig deaktivierten Optimierungen. Die Qualität des Rust-Codes ist zwar funktional, erreicht aber nicht das Niveau eines erfahrenen Rust-Programmierers.
„Der fertige Compiler stieß beinahe an die Grenzen der Fähigkeiten von Opus“, schrieb Carlini. „Ich habe versucht (wirklich!), einige der oben genannten Einschränkungen zu beheben, war dabei jedoch nicht vollständig erfolgreich. Neue Funktionen und Fehlerbehebungen beeinträchtigten häufig die bestehende Funktionalität.“
Die menschliche Arbeit hinter der Automatisierung
Obwohl Anthropic den Compiler als „Clean-Room-Implementierung“ (reine Implementierung) bezeichnet, weil die Agenten während der Entwicklung keinen Zugang zum Internet hatten, ist diese Bezeichnung etwas irreführend. Das zugrunde liegende Modell wurde mit enormen Mengen öffentlich verfügbaren Quellcodes trainiert, darunter mit ziemlicher Sicherheit GCC, Clang und viele kleinere C-Compiler.
Auch die Summe von 410.000 CZK bedarf einer Einordnung. Dieser Betrag deckt lediglich die Kosten für API-Token ab und umfasst weder die Milliarden, die für das Training des Modells ausgegeben wurden, noch die menschliche Arbeit, die Carlini in den Aufbau der Infrastruktur investierte, oder die jahrzehntelange Arbeit der Compiler-Ingenieure, die Testsuiten und Referenzimplementierungen entwickelt haben.
Carlini investierte erhebliche Mühe in den Aufbau von Testumgebungen, Pipelines für kontinuierliche Integration und Feedbacksystemen, die an die spezifischen Arten des Scheiterns von Sprachmodellen angepasst waren. So stellte er beispielsweise fest, dass detaillierte Testausgaben das Kontextfenster des Modells verunreinigten, wodurch es den Überblick darüber verlor, was es gerade tat. Er stellte außerdem fest, dass Claude kein Zeitgefühl hat und stundenlang Tests ausführt, ohne Fortschritte zu erzielen. Daher entwickelte er einen schnellen Modus, der nur 1 % bis 10 % der Testfälle stichprobenartig auswählt.
Reaktionen der Entwicklergemeinschaft und Carlinis
Die Reaktionen auf GitHub fielen weniger eindeutig aus. Der Nutzer mohswell schrieb: „Wenn ich in einen Supermarkt gehen, von jedem Brot, das sie haben, ein Stück stehlen und alles zusammenstopfen würde, würde niemand sagen, ich hätte Brot von Grund auf selbst gemacht. Man würde sagen, ich sei ein Dieb.“ Der Nutzer Sambit003 bemerkte: „Je längeren KI-generierten Code ich sehe ... desto sicherer fühle ich mich. Wir haben immer noch Arbeit (für ziemlich viele Jahre) ... genießt einfach den Hype.“
Carlini selbst räumte ein, dass er seinen eigenen Ergebnissen gegenüber zwiespältig eingestellt sei. „Die Entwicklung dieses Compilers war eines der unterhaltsamsten Dinge, die ich in letzter Zeit gemacht habe, aber ich hätte nicht erwartet, dass so etwas bereits Anfang 2026 überhaupt möglich sein würde“, schrieb er. Er äußerte zudem Bedenken, die aus seiner früheren Karriere im Penetrationstesting herrühren, und merkte an, dass „die Vorstellung, dass Programmierer Software einsetzen, die sie nie persönlich überprüft haben, ein echtes Problem darstellt“.
Das Projekt zeigt, dass noch vor einem Jahr kein Sprachmodell etwas entwickeln konnte, das einem funktionsfähigen Compiler für mehrere Architekturen auch nur nahekam – selbst mit dieser Art von Aufsicht und einem unbegrenzten Budget. Das Modell stieß bei ungefähr 100.000 Codezeilen an seine Grenze, was zumindest bei den aktuellen Modellen auf eine praktische Grenze für autonomes agentenbasiertes Programmieren hindeutet.
Quellen: arstechnica.com und theregister.com
