KI-Tools für die Programmierung verbessern sich wirklich schnell. Wenn Sie nicht mit Code arbeiten, fällt Ihnen das vielleicht gar nicht auf, aber Modelle wie GPT-5 und Gemini 2.5 haben Entwicklern eine ganze Reihe neuer Möglichkeiten eröffnet, die sich automatisieren lassen. Letzte Woche bestätigte Sonnet 4.5 dies erneut. Auf der anderen Seite entwickeln sich Fähigkeiten wie das Verfassen von E-Mails langsamer. Selbst wenn sich das Modell verbessert, profitiert das Produkt möglicherweise nicht in gleichem Maße davon – insbesondere wenn es sich um einen Chatbot handelt, der Dutzende verschiedener Aufgaben gleichzeitig bewältigt. Die künstliche Intelligenz schreitet weiterhin voran, aber dieser Fortschritt ist nicht mehr so gleichmäßig wie früher.
Dieser Unterschied beim Fortschritt lässt sich einfach erklären. Programmieranwendungen profitieren von Milliarden leicht messbarer Tests, mit denen sie darauf trainiert werden, funktionsfähigen Code zu erstellen. Dabei geht es um bestärkendes Lernen (Reinforcement Learning, RL), das wahrscheinlich der größte Motor des Fortschritts in der künstlichen Intelligenz während der vergangenen sechs Monate war. Bestärkendes Lernen funktioniert am besten, wenn es einen klaren Maßstab für Erfolg oder Misserfolg gibt, sodass der Vorgang millionenfach wiederholt werden kann, ohne für menschliche Eingaben unterbrochen werden zu müssen.
Da sich die Branche zur Verbesserung von Produkten zunehmend auf bestärkendes Lernen stützt, entsteht ein deutlicher Unterschied zwischen Fähigkeiten, die automatisch bewertet werden können, und solchen, bei denen dies nicht möglich ist. Für bestärkendes Lernen geeignete Fähigkeiten wie Fehlerbehebung oder Wettbewerbsmathematik verbessern sich schnell, während Fähigkeiten wie das Schreiben nur schrittweise vorankommen. Kurz gesagt: Es gibt eine Lücke beim bestärkenden Lernen – und sie wird zu einem der wichtigsten Faktoren dafür, wozu KI-Systeme in der Lage sind und wozu nicht.
Warum Programmierung ideal zum bestärkenden Lernen passt
In mancher Hinsicht ist die Softwareentwicklung der perfekte Bereich für bestärkendes Lernen. Schon vor dem Zeitalter der künstlichen Intelligenz gab es eine ganze Teildisziplin, die sich darauf konzentrierte, zu testen, wie Software unter Belastung funktioniert – vor allem, weil Entwickler sicherstellen müssen, dass ihr Code nicht vor der Bereitstellung zusammenbricht. Daher muss selbst der uneleganteste Code Unit-Tests, Integrationstests, Sicherheitstests und Ähnliches bestehen. Menschliche Entwickler verwenden diese Tests routinemäßig zur Überprüfung ihres Codes, und wie ein leitender Direktor für Entwicklertools bei Google kürzlich erklärte, sind sie ebenso nützlich zur Überprüfung von KI-generiertem Code. Darüber hinaus sind sie systematisiert und in enormem Umfang wiederholbar, was ideal für bestärkendes Lernen ist.
Es ist nicht einfach, eine gut geschriebene E-Mail oder eine hochwertige Antwort eines Chatbots zu überprüfen; diese Fähigkeiten sind von Natur aus subjektiv und lassen sich nur schwer in großem Maßstab messen. Nicht jede Aufgabe lässt sich in die Kategorien „leicht testbar“ oder „schwer testbar“ einordnen. Für vierteljährliche Finanzberichte oder Versicherungsmathematik stehen uns keine fertigen Testsätze zur Verfügung, aber ein gut finanziertes Buchhaltungs-Startup könnte einen solchen Satz von Grund auf erstellen. Einige Testsätze werden besser funktionieren als andere, und manche Unternehmen werden das Problem geschickter angehen. Doch die Testbarkeit des grundlegenden Prozesses wird entscheidend dafür sein, ob daraus ein funktionsfähiges Produkt statt nur einer interessanten Demonstration wird.
Wo bestärkendes Lernen die Erwartungen übertrifft
Einige Prozesse erweisen sich als besser testbar, als man erwarten würde. Hätte man mich letzte Woche gefragt, hätte ich die KI-Videogenerierung in die Kategorie „schwer testbar“ eingeordnet, doch der enorme Fortschritt im neuen Modell Sora 2 von OpenAI deutet darauf hin, dass es vielleicht doch nicht so kompliziert ist. In Sora 2 tauchen Objekte nicht mehr aus dem Nichts auf und verschwinden wieder. Gesichter behalten ihre Form und sehen wie eine bestimmte Person aus, nicht bloß wie eine Ansammlung von Merkmalen. Aufnahmen aus Sora 2 respektieren die Gesetze der Physik auf offensichtliche wie auch subtile Weise. Wenn man hinter die Kulissen blicken könnte, würde man wahrscheinlich für jede dieser Eigenschaften ein robustes System für bestärkendes Lernen finden. Zusammen machen sie den Unterschied zwischen Fotorealismus und einer unterhaltsamen Halluzination aus.
Dieses Prinzip zeigt sich auch in anderen Bereichen. Bei autonomen Fahrzeugen etwa erweist sich das Training von Agenten des bestärkenden Lernens in Simulationen als machbar, doch die Strategien scheitern in der unvorhersehbaren realen Welt häufig an der Lücke zwischen Simulation und Realität sowie an Sicherheitsrisiken. Im Gesundheitswesen oder in der Robotik könnten Agenten des bestärkenden Lernens theoretisch lernen, komplexe Operationen oder physische Aufgaben auszuführen. Das Fehlen skalierbarer und sicherer Belohnungsmechanismen sowie die hohen Risiken von Fehlern führen jedoch dazu, dass die Verbesserungen nur langsam vorankommen.
Probleme mit Belohnungen und Effizienz beim bestärkenden Lernen
Algorithmen des bestärkenden Lernens benötigen eine enorme Anzahl von Interaktionen mit ihrer Umgebung, um effektives Verhalten zu erlernen, was das Training in der realen Welt für viele Aufgaben unpraktisch macht. Simulationen helfen, führen jedoch häufig zu Strategien, die sich nicht auf reale Bedingungen übertragen lassen – dies ist als Lücke zwischen Simulation und Realität bekannt. Bestärkendes Lernen zeichnet sich aus, wenn die Erfolgskriterien binär sind und sich leicht automatisch bewerten lassen, wie bei der Programmierung (der Code wird kompiliert oder nicht) oder der Mathematik (ein Beweis funktioniert oder nicht). Diese Aufgaben liefern eindeutiges, skalierbares Feedback, wodurch sich Agenten des bestärkenden Lernens schnell und autonom verbessern können.
Fähigkeiten wie Schreiben, Sprechen oder kreative Problemlösung umfassen dagegen subjektive, kontextabhängige Beurteilungen, was die Entwicklung präziser Belohnungsfunktionen erschwert. Dieser Faktor führt zu langsamen Fortschritten in Bereichen, in denen das Feedback unklar ist oder seine Erhebung in großem Maßstab hohe Kosten verursacht. Selbst wenn Agenten des bestärkenden Lernens gut funktionieren, kann ihr Verständnis des Werts von Handlungen oberflächlich sein und so Defizite bei der Übertragung oder Verallgemeinerung von Fähigkeiten verschleiern.
Auswirkungen auf Startups, Wirtschaft und Zukunft
Dies ist keine feste Regel der künstlichen Intelligenz. Es ist eine Folge der zentralen Rolle, die bestärkendes Lernen bei der Entwicklung künstlicher Intelligenz spielt, und das kann sich mit der weiteren Entwicklung der Modelle leicht ändern. Doch solange bestärkendes Lernen das wichtigste Instrument für die Markteinführung von KI-Produkten ist, wird die Lücke beim bestärkenden Lernen immer größer werden – mit schwerwiegenden Folgen für Startups und die gesamte Wirtschaft. Wenn ein Prozess auf der richtigen Seite dieser Lücke landet, werden Startups ihn wahrscheinlich erfolgreich automatisieren – und jeder, der diese Arbeit derzeit ausführt, muss sich möglicherweise eine neue berufliche Laufbahn suchen. Die Frage, welche Gesundheitsdienstleistungen sich durch bestärkendes Lernen trainieren lassen, wird enorme Auswirkungen auf die Gestaltung der Wirtschaft in den kommenden 20 Jahren haben. Und wenn Überraschungen wie Sora 2 ein Hinweis sind, müssen wir auf die Antwort vielleicht nicht lange warten.
Die Lücke beim bestärkenden Lernen beeinflusst, welche KI-Fähigkeiten zuerst praktische Nutzbarkeit erreichen. Sie begünstigt Bereiche mit klaren, automatisierbaren Belohnungen, während subjektive oder ethisch komplexe Fähigkeiten zurückbleiben. Die Überbrückung dieser Lücke ist entscheidend für das Erreichen einer allgemeinen künstlichen Intelligenz (Artificial General Intelligence, AGI), denn dafür müssen Systeme des bestärkenden Lernens effizient lernen, domänenübergreifend verallgemeinern und Ziele aus uneindeutigem Feedback ableiten – Fähigkeiten, die heutigen Systemen fehlen. Sicherheit und Ethik der künstlichen Intelligenz werden davon tiefgreifend beeinflusst; Agenten des bestärkenden Lernens können sich gefährlich oder unethisch verhalten, wenn Belohnungsfunktionen schlecht gestaltet sind oder nicht mit menschlichen Werten übereinstimmen.
Quelle: techcrunch.com
