KI-Agenten fürs Programmieren: Umfassender Test zeigt ihre Möglichkeiten und Grenzen

Timothy B. Lee beschloss, die Fähigkeiten aktueller KI-Programmierwerkzeuge in einem Praxistest zu überprüfen. Statt einfacher Beispielaufgaben wählte er ein komplexes reales Projekt. Als Testmaterial verwendete er Daten zu Verkehrsunfällen mit Waymo-Fahrzeugen – autonomen Autos, die statistisch gesehen pro zurückgelegter Strecke weniger Unfälle verursachen als von Menschen gesteuerte Fahrzeuge.

Die Aufgabenstellung war klar: Informationen aus zwei verschiedenen Datenbanken zusammenzuführen – einer von Waymo bereitgestellten und einer zweiten von der US-amerikanischen Nationalen Behörde für Straßenverkehrssicherheit (National Highway Traffic Safety Administration). Aus diesen zusammengeführten Daten sollte anschließend eine funktionsfähige Webanwendung erstellt werden, die das Suchen, Sortieren und Durchsuchen von Unfallaufzeichnungen autonomer Fahrzeuge ermöglicht.

Bei den Tests spielte Lee bewusst die Rolle eines völligen Programmieranfängers. Er sah sich weder den Quellcode an noch versuchte er, technische Probleme zu diagnostizieren. Er verließ sich ausschließlich auf die Kommunikation mit den KI-Agenten über gewöhnliche Anweisungen in natürlicher Sprache.

Leistung der einzelnen KI-Programmierwerkzeuge

Plattformen mit den größten Schwierigkeiten

Bolt.new kapitulierte gleich zu Beginn mit der Fehlermeldung „anscheinend haben Sie das Größenlimit erreicht“. Laut Dokumentation informiert die Plattform die Nutzer, wenn die Projektgröße das verfügbare Kontextfenster überschreitet – 200.000 Token für kostenlose Konten oder 500.000 für Premiumversionen. Die Testdateien waren für die Verarbeitung zu umfangreich. Während konkurrierende Lösungen über Funktionen zum schrittweisen Durchsuchen großer Dateien verfügen, fehlen Bolt.new solche Möglichkeiten.

Replit schloss die Planung ab und arbeitete anschließend 17 Minuten lang an der Implementierung. Obwohl es behauptete, die Website sei fertig, ließ sich das Ergebnis überhaupt nicht starten. Auch wiederholte Korrekturversuche scheiterten – Lee konnte die Plattform nicht dazu bringen, das grundlegende Funktionsproblem zu lösen.

Lovable erstellte eine optisch beeindruckende Website, hatte jedoch Probleme beim Laden der Daten. Durch schrittweise Anweisungen gelang es Lee, den Import der meisten Informationen und deren Konvertierung in das gewünschte Format zu erreichen. Dennoch blieb ein Problem mit den Datumsangaben bestehen, die trotz zahlreicher Korrekturaufforderungen als „N/A“ angezeigt wurden.

Werkzeuge mit gemischten Ergebnissen

Windsurf begann vielversprechend – es erstellte schneller als die anderen eine grundlegende funktionsfähige Website und ermöglichte einige Anpassungen. Das System erwies sich jedoch als instabil. Die Anforderung nach einem Dropdown-Menü zum Filtern nach Verletzungsgrad (leicht, mittelschwer, schwer, tödlich) führte zur Erstellung einer Benutzeroberfläche, die jedoch selbst nach mehreren Korrekturversuchen nicht in der Lage war, die Daten tatsächlich zu filtern.

OpenAI Codex erfüllte die Aufgabe, allerdings mit Mängeln bei der Umsetzung. Während andere Werkzeuge wichtige Informationen wie Ort, Zeitpunkt und Schwere des Vorfalls intelligent auswählten, nahm Codex alle verfügbaren Datenspalten auf. Das Ergebnis war eine Seite, die um ein Vielfaches breiter als ein normales Browserfenster war. Selbst nach der investierten Zeit zur Verbesserung des Erscheinungsbildes blieben verschiedene Formatierungsprobleme und Unvollkommenheiten bestehen.

Die erfolgreichsten Lösungen

Cursor zeigte eine solide Leistung, auch wenn der Anfang nicht vielversprechend war. Die Einrichtung der Entwicklungsumgebung dauerte lange und erforderte mehrere erfolglose Versuche. Die erste Version der Website funktionierte überhaupt nicht – sie zeigte lediglich eine endlose Ladeanzeige. Nach einer Aufforderung löste Cursor das Problem jedoch und lieferte eine attraktiv aussehende Anwendung. Die meisten anschließenden Änderungswünsche wurden beim ersten Versuch umgesetzt.

Claude Code erzielte die besten Ergebnisse. Es bewältigte die Aufgabe nahezu reibungslos und mit minimalen Komplikationen. Nach der Erstellung der Grundstruktur konnte es die gewünschten Funktionen und Designänderungen schnell und präzise implementieren, häufig bereits beim ersten Versuch.

Wichtige Erkenntnisse aus den Praxistests

Lee war überrascht, wie viele Wiederholungen und Versuche die Nutzung dieser Werkzeuge erforderte. Häufig meldete er einen Fehler, der Agent versuchte ihn zu beheben, doch das Problem blieb bestehen. Manchmal wiederholte sich dieser Zyklus fünf bis zehn Versuche hintereinander, wobei die KI verschiedene Ansätze ausprobierte.

Gleichzeitig zeigte sich, dass einige Fehler unabhängig von der Anzahl der Versuche unlösbar blieben. Dieses Verhalten beobachtete Lee bei den Plattformen Lovable, Replit und Windsurf.

Es zeigte sich ein deutlicher Kompromiss zwischen Benutzerfreundlichkeit und Funktionalität. Bolt, Lovable und Replit präsentieren sich als Werkzeuge für „intuitives Programmieren“, mit denen Nichtprogrammierer vollständige Websites mit einem einzigen Befehl erstellen können. Alle drei scheitern jedoch bei komplexeren oder nicht standardmäßigen Anforderungen.

Claude Code und Codex richten sich dagegen an professionelle Programmierer. Sie erfordern API-Schlüssel und Kenntnisse von Unix-Befehlen, was Anfänger abschrecken kann. Dies gleichen sie jedoch durch deutlich größere Vielseitigkeit und Leistungsfähigkeit aus.

Einsatz von KI-Programmierwerkzeugen in der Praxis

Lee sprach mit Aaron Votre, einem Entwickler bei dem auf Katastrophenwiederaufbau spezialisierten Unternehmen Bright Harbor. Votre nutzt Cursor und Claude Code intensiv und berichtet von einer drastischen Produktivitätssteigerung durch diese Werkzeuge.

„Wir pflegen eine umfangreiche Datei mit Hunderten Zeilen unserer Richtlinien“, erklärte Votre. Dieses dauerhaft in den Kontext von Claude Code eingebundene Dokument legt fest, welche Softwarewerkzeuge für verschiedene Zwecke verwendet werden, und enthält Ratschläge, die das Unternehmen auch einem neuen Mitarbeiter geben würde.

Die Richtlinien umfassen Anweisungen wie „Löse jedes Problem, bevor du fortfährst, um die Codequalität zu gewährleisten“, „Sortiere Aliasse alphabetisch“ oder „Teste Formatierungsfunktionen zur besseren Isolierung separat“.

„Wann immer es einen Fehler macht, ergänzen wir das“, bemerkte Votre. „Claude ist für uns derzeit die beste Wahl, weil wir dafür die beste Konfiguration haben.“

Eine weitere Strategie besteht Votre zufolge darin, den Agenten vor der Implementierung einen detaillierten Plan ausarbeiten zu lassen. Ein menschlicher Programmierer kann den Plan überprüfen und anpassen – dadurch lassen sich Probleme aufgrund unklarer oder verwirrender Anweisungen vermeiden und zusätzlicher Kontext bereitstellen.

Englisch als neue Programmiersprache

Lee verweist auf eine Aussage von Andrej Karpathy aus den vergangenen Jahren: „Die angesagteste neue Programmiersprache ist Englisch.“

Die Geschichte der Programmierung zeigt eine schrittweise Entwicklung hin zu höheren Abstraktionsebenen. Während die ersten Programmierer mit einfachen mathematischen Operationen arbeiten mussten, brachten die 1950er-Jahre Sprachen wie Cobol und Fortran hervor. Moderne Sprachen wie Python enthalten umfangreiche Bibliotheken, mit denen sich leistungsfähige Programme in wenigen Zeilen erstellen lassen.

KI-Programmieragenten stellen die nächste Stufe dieser Entwicklung dar. Statt Anweisungen in C++ oder Python zu schreiben, können Programmierer ihre Anforderungen auf Englisch formulieren, und der Agent übersetzt sie in die entsprechende Programmiersprache.

Dieses Paradigma beseitigt die Notwendigkeit, sich mit Implementierungsdetails zu befassen und kleine Fehler aufzuspüren. Unverändert bleibt jedoch, dass jemand definieren muss, was der Computer tun soll, und ausreichend präzise Anweisungen geben muss. Bei großen Projekten erfordert dies systematisches Denken, ein Verständnis für Kompromisse, Aufmerksamkeit für Details und ein tiefgreifendes Verständnis der Funktionsweise von Computern.

Lee erwartet eine ähnliche Entwicklung in anderen Berufen, die von KI-Agenten beeinflusst werden. Es wird juristische Assistenten geben, die bei Dokumenten und Verträgen helfen, doch jemand muss die Aufgaben festlegen und die Ergebnisse bewerten – und das erfordert Fachwissen. Statt Fachkräfte zu ersetzen, werden sie eher neue Werkzeuge für deren Arbeit darstellen.