Warum Fortschritte bei künstlicher Intelligenz nicht auf Innovationen, sondern auf Daten beruhen
Künstliche Intelligenz hat in den vergangenen fünfzehn Jahren unglaubliche Fortschritte gemacht. Dieser Fortschritt mag unvermeidlich erscheinen – obwohl wirklich bahnbrechende Entdeckungen selten sind, entwickelt sich die KI dennoch kontinuierlich weiter. Einige Forscher haben sogar ein „Mooresches Gesetz für KI“ ausgerufen, dem zufolge die Fähigkeit von Computern, bestimmte Aufgaben auszuführen, mit der Zeit exponentiell zunimmt. Jedes Jahr werden unsere KI-Systeme intelligenter, schneller und kostengünstiger, ohne dass ein Ende in Sicht ist.
Forschungserfolge versus Stagnation
Die Forschungsgemeinschaft am MIT, in Stanford, an der CMU sowie bei Branchenriesen wie Meta und Google hat bedeutende Fortschritte erzielt. So stellte Stanford 2022 FlashAttention vor, Google entwickelte 2023 die spekulative Dekodierung, 2024 entstand der Muon-Optimierer und 2025 veröffentlichte DeepSeek DeepSeek-R1.
Dennoch haben sich die neuesten Modelle wie Grok 3 und GPT-4.5 nur geringfügig verbessert.
Vier entscheidende Durchbrüche in der KI
Wenn wir uns die tatsächlichen Paradigmenwechsel ansehen, finden wir vier entscheidende Momente:
1. Tiefe neuronale Netze: AlexNet gewann 2012 einen Wettbewerb zur Bilderkennung.
2. Transformer + LLMs: Google konzipierte Transformer in der Arbeit „Attention Is All You Need“ (2017), was zu BERT (Google, 2018) und GPT (OpenAI, 2018) führte.
3. RLHF: Erstmals 2022 in der Arbeit zu InstructGPT von OpenAI vorgestellt.
4. Schlussfolgerndes Denken: OpenAI veröffentlichte 2024 O1, gefolgt von DeepSeek R1.
Alte Ideen, neue Datenquellen
Es ist nicht abwegig zu behaupten, dass alle grundlegenden Mechanismen hinter diesen Durchbrüchen bereits in den 1990er-Jahren existierten. Überwachtes Lernen ging aus Claude Shannons Arbeit in den 1940er-Jahren hervor, während sich bestärkendes Lernen auf Policy-Gradient-Methoden aus dem Jahr 1992 zurückführen lässt.
Entscheidend ist jedoch, dass jeder Durchbruch eine neue Datenquelle erschloss:
1. AlexNet erschloss ImageNet – eine große Datenbank mit gekennzeichneten Bildern.
2. Transformer ermöglichten das Training mit Daten aus dem gesamten Internet.
3. RLHF ermöglichte es, aus menschlichen Bewertungen „guter Texte“ zu lernen.
4. Schlussfolgerndes Denken nutzt „Verifikatoren“ wie Taschenrechner und Compiler.
Daten vs. neue Ideen
Forscher haben festgestellt, dass unterschiedliche Architekturen (Transformer vs. State-Space-Modelle) beim Training mit denselben Daten ähnliche Ergebnisse erzielen. Dies deutet darauf hin, dass es eine Obergrenze dafür gibt, was wir aus einem bestimmten Datensatz lernen können. Alle Trainingstricks ändern nichts an der Tatsache, dass sich aus einem bestimmten Datensatz nur begrenzt viel lernen lässt.
Die Zukunft: Videos und Roboter
Unser nächster Paradigmenwechsel wird nicht von neuen Algorithmen, sondern von neuen Datenquellen ausgehen.
Videos: Auf YouTube werden etwa 500 Stunden Videomaterial pro Minute hochgeladen – weit mehr Daten als der gesamte Text im Internet. Videos enthalten nicht nur Wörter, sondern auch Intonation sowie Informationen über Physik und Kultur. Google wird wahrscheinlich damit beginnen, Modelle mit YouTube-Daten zu trainieren, sobald diese effizient genug sind.
Roboter: Systeme zur Erfassung von Daten aus Sensoren und Kameras könnten die nächste große Quelle sein, sofern wir den massiven Datenstrom von Robotern verarbeiten können.
Es ist schwer vorherzusagen, ob YouTube, Roboter oder etwas anderes das nächste große Ding sein wird. Wenn wir jedoch Fortschritte in der KI erzielen wollen, sollten wir vielleicht aufhören, nach neuen Ideen zu suchen, und stattdessen nach neuen Daten Ausschau halten.
Der Autor Jack Morris weist in seinem Artikel darauf hin, dass der Fortschritt bei künstlicher Intelligenz nicht durch neue Algorithmen, sondern vielmehr durch neue Datensätze vorangetrieben wird. Die Analyse von vier entscheidenden Momenten in der Geschichte der KI zeigt, dass hinter jedem Durchbruch der Zugang zu einem neuen Datentyp stand und nicht eine revolutionär neue Technologie.
