Warum KI-Modelle trotz wachsender Beliebtheit daran scheitern, leistungsfähigen Code zu schreiben
Große Sprachmodelle (LLMs) sind zu einem wichtigen Bestandteil des Entwicklungsprozesses vieler Unternehmen geworden. Jüngsten Umfragen zufolge sind sie jedoch nach wie vor nicht in der Lage, Code zu erstellen, der tatsächlich leistungsfähig und optimiert ist. Diese Tatsache wirft wichtige Fragen für die Zukunft der Programmierung auf, da immer mehr Unternehmen KI-Tools in ihre Entwicklungszyklen integrieren.
Statistiken von der Infobip-Shift-Konferenz in Miami
Saurabh Misra, CEO von CodeFlash, stellte kürzlich auf der Infobip-Shift-Konferenz die Ergebnisse einer Umfrage vor, die Aufschluss über die tatsächlichen Fähigkeiten von LLMs bei der Codegenerierung geben. Seinen Erkenntnissen zufolge verlassen sich Technologiegiganten wie Microsoft und Google bereits heute bei der Erstellung eines bedeutenden Anteils ihrer Codebasis auf künstliche Intelligenz (Microsoft 25 % und Google sogar 30 %). Allerdings besteht ein grundlegender Unterschied zwischen funktionierendem Code und Code, der tatsächlich leistungsfähig und optimiert ist. Bei einigen Start-ups ist die Situation noch ausgeprägter, da dort erstaunliche 95 % des gesamten neuen Codes aus KI-Tools stammen. Misra betont jedoch, dass diese hohe Akzeptanzrate nicht automatisch eine bessere Softwareleistung bedeutet. Tatsächlich ist oft das Gegenteil der Fall – Sprachmodelle können zwar schnell funktionierenden Code schreiben, scheitern jedoch häufig an der Optimierung für Geschwindigkeit, Speichernutzung oder andere kritische Leistungskennzahlen.
Mängel beim Schreiben von Code
Die Umfrage weist auf einen grundlegenden Unterschied zwischen der Fähigkeit von LLMs hin, syntaktisch korrekten Code zu generieren, und ihrer Fähigkeit, Code zu erstellen, der tatsächlich effizient ist. Während aktuelle Modelle relativ zuverlässig Code erzeugen, der kompiliert werden kann und grundlegende Funktionen ausführt, fehlt ihnen ein ausgefeilteres Verständnis von Optimierung, das erfahrene menschliche Entwickler ganz selbstverständlich anwenden. Menschliche Programmierer berücksichtigen beim Schreiben von Code ständig verschiedene Sonderfälle und Optimierungsstrategien – etwas, das aktuelle KI-Modelle nicht konsistent reproduzieren können. Eine der größten Herausforderungen ist auch die Bewertung der tatsächlichen Leistungsfähigkeit des generierten Codes. Standardmäßige Bewertungsmetriken für LLM-Ausgaben konzentrieren sich in der Regel eher auf Korrektheit oder logische Konsistenz als auf Ausführungseffizienz oder Ressourcennutzung. Aktuelle automatisierte Bewertungssysteme haben Schwierigkeiten, nuancierte Aspekte wie algorithmische Komplexität oder die tatsächliche Verarbeitungsgeschwindigkeit präzise einzuschätzen – ein wesentlicher Grund dafür, dass leistungsorientierte Programmierung für die meisten aktuellen LLMs ein unerreichbares Ziel bleibt.
Mensch vs. KI
Wenn wir die Fähigkeiten menschlicher Entwickler und von LLMs vergleichen, finden wir mehrere grundlegende Unterschiede. Während beide häufig eine hohe funktionale Korrektheit aufweisen, berücksichtigen menschliche Entwickler konsequent Leistungsaspekte, während LLMs diese oft übersehen. Menschliche Programmierer sind außerdem kontextbewusst, während LLMs durch ihre Trainingsdaten eingeschränkt sind. Trotz der rasanten Fortschritte bei generativen KI-Tools für die Programmierung und ihrer weiten Verbreitung in der Industrie deuten Umfragen darauf hin, dass aktuelle LLMs nicht konsistent hochperformanten Code erzeugen können. Sie sind hervorragend darin, schnell funktionierende Lösungen zu generieren, bieten jedoch typischerweise keine tiefgreifende Optimierung, sofern sie nicht gezielt angeleitet oder von menschlichen Experten überprüft werden. Während generative KI die Arbeitsweise von Entwicklern weiterhin verändert, unterstreichen die Ergebnisse dieser Umfragen die anhaltende Bedeutung menschlicher Expertise bei der Erstellung wirklich effizienter und optimierter Software. Für Technologieunternehmen wird es daher entscheidend sein, das richtige Gleichgewicht zwischen dem Einsatz von KI zur Beschleunigung der Entwicklung und der Aufrechterhaltung hoher Standards bei der Codeleistung zu finden.
