Warum Fortschritte bei künstlicher Intelligenz nicht von Innovationen, sondern von Daten abhängen

Warum Fortschritte bei künstlicher Intelligenz nicht von Innovationen, sondern von Daten abhängen

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
7. 7. 2025
3 Minuten Lesezeit · 5 Aufrufe
Warum Fortschritte bei künstlicher Intelligenz nicht von Innovationen, sondern von Daten abhängen

Warum Fortschritte bei künstlicher Intelligenz nicht auf Innovationen, sondern auf Daten beruhen

Künstliche Intelligenz hat in den vergangenen fünfzehn Jahren unglaubliche Fortschritte gemacht. Dieser Fortschritt mag unvermeidlich erscheinen – obwohl wirklich bahnbrechende Entdeckungen selten sind, entwickelt sich die KI dennoch kontinuierlich weiter. Einige Forscher haben sogar ein „Mooresches Gesetz für KI“ ausgerufen, dem zufolge die Fähigkeit von Computern, bestimmte Aufgaben auszuführen, mit der Zeit exponentiell zunimmt. Jedes Jahr werden unsere KI-Systeme intelligenter, schneller und kostengünstiger, ohne dass ein Ende in Sicht ist.

Forschungserfolge versus Stagnation

Die Forschungsgemeinschaft am MIT, in Stanford, an der CMU sowie bei Branchenriesen wie Meta und Google hat bedeutende Fortschritte erzielt. So stellte Stanford 2022 FlashAttention vor, Google entwickelte 2023 die spekulative Dekodierung, 2024 entstand der Muon-Optimierer und 2025 veröffentlichte DeepSeek DeepSeek-R1.

Dennoch haben sich die neuesten Modelle wie Grok 3 und GPT-4.5 nur geringfügig verbessert.

Vier entscheidende Durchbrüche in der KI

Wenn wir uns die tatsächlichen Paradigmenwechsel ansehen, finden wir vier entscheidende Momente:

1. Tiefe neuronale Netze: AlexNet gewann 2012 einen Wettbewerb zur Bilderkennung.

2. Transformer + LLMs: Google konzipierte Transformer in der Arbeit „Attention Is All You Need“ (2017), was zu BERT (Google, 2018) und GPT (OpenAI, 2018) führte.

3. RLHF: Erstmals 2022 in der Arbeit zu InstructGPT von OpenAI vorgestellt.

4. Schlussfolgerndes Denken: OpenAI veröffentlichte 2024 O1, gefolgt von DeepSeek R1.

Alte Ideen, neue Datenquellen

Es ist nicht abwegig zu behaupten, dass alle grundlegenden Mechanismen hinter diesen Durchbrüchen bereits in den 1990er-Jahren existierten. Überwachtes Lernen ging aus Claude Shannons Arbeit in den 1940er-Jahren hervor, während sich bestärkendes Lernen auf Policy-Gradient-Methoden aus dem Jahr 1992 zurückführen lässt.

Entscheidend ist jedoch, dass jeder Durchbruch eine neue Datenquelle erschloss:

1. AlexNet erschloss ImageNet – eine große Datenbank mit gekennzeichneten Bildern.

2. Transformer ermöglichten das Training mit Daten aus dem gesamten Internet.

3. RLHF ermöglichte es, aus menschlichen Bewertungen „guter Texte“ zu lernen.

4. Schlussfolgerndes Denken nutzt „Verifikatoren“ wie Taschenrechner und Compiler.

Daten vs. neue Ideen

Forscher haben festgestellt, dass unterschiedliche Architekturen (Transformer vs. State-Space-Modelle) beim Training mit denselben Daten ähnliche Ergebnisse erzielen. Dies deutet darauf hin, dass es eine Obergrenze dafür gibt, was wir aus einem bestimmten Datensatz lernen können. Alle Trainingstricks ändern nichts an der Tatsache, dass sich aus einem bestimmten Datensatz nur begrenzt viel lernen lässt.

Die Zukunft: Videos und Roboter

Unser nächster Paradigmenwechsel wird nicht von neuen Algorithmen, sondern von neuen Datenquellen ausgehen.

Videos: Auf YouTube werden etwa 500 Stunden Videomaterial pro Minute hochgeladen – weit mehr Daten als der gesamte Text im Internet. Videos enthalten nicht nur Wörter, sondern auch Intonation sowie Informationen über Physik und Kultur. Google wird wahrscheinlich damit beginnen, Modelle mit YouTube-Daten zu trainieren, sobald diese effizient genug sind.

Roboter: Systeme zur Erfassung von Daten aus Sensoren und Kameras könnten die nächste große Quelle sein, sofern wir den massiven Datenstrom von Robotern verarbeiten können.

Es ist schwer vorherzusagen, ob YouTube, Roboter oder etwas anderes das nächste große Ding sein wird. Wenn wir jedoch Fortschritte in der KI erzielen wollen, sollten wir vielleicht aufhören, nach neuen Ideen zu suchen, und stattdessen nach neuen Daten Ausschau halten.


Der Autor Jack Morris weist in seinem Artikel darauf hin, dass der Fortschritt bei künstlicher Intelligenz nicht durch neue Algorithmen, sondern vielmehr durch neue Datensätze vorangetrieben wird. Die Analyse von vier entscheidenden Momenten in der Geschichte der KI zeigt, dass hinter jedem Durchbruch der Zugang zu einem neuen Datentyp stand und nicht eine revolutionär neue Technologie.

Werbung

Inhalte entstehen mit Unterstützung von UpTier.

SEO und GEO auf Autopilot. Die Multiagentensysteme von UpTier schreiben und optimieren Inhalte für Suchmaschinen und KI-Antworten.

UpTier entdecken ↗

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

Google stellt Tasks für Nutzer von Gemini 4 Hydrogen kostenlos bereitGoogle stellt Tasks für Nutzer von Gemini 4 Hydrogen kostenlos bereit
Der Tasks-Modus wird für Hunderte Millionen Nutzer von Gemini 4 Hydrogen kostenlos verfügbar. Laut Google kann er Unternehmen anrufen, Termine vereinbaren und Einkäufe abschließen.
1 Min. Lesezeit
18. 11. 2026
OpenAI führt GPT-6.2 Astra und Sol für berufliche und alltägliche Aufgaben einOpenAI führt GPT-6.2 Astra und Sol für berufliche und alltägliche Aufgaben ein
OpenAI hat zwei Modelle vorgestellt: Astra ist für komplexe berufliche Aufgaben gedacht, Sol für die alltägliche Arbeit. Beide sind in ChatGPT Work, Codex und über die API verfügbar.
3 Min. Lesezeit
17. 11. 2026
Tencent veröffentlicht Hy4 Flash mit Bildunterstützung und Kontextfenster von bis zu einer Million TokensTencent veröffentlicht Hy4 Flash mit Bildunterstützung und Kontextfenster von bis zu einer Million Tokens
Das schlankere Modell Hy4 Flash ist für Chats, Dokumente und alltägliche Codeänderungen gedacht. Es verarbeitet Text und Bilder, unterstützt Werkzeuge und erreichte laut Tencent in Tests zu Alltagsaufgaben vergleichbare Ergebnisse wie Claude Haiku 5.5.
1 Min. Lesezeit
16. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok