In den letzten Jahren konzentriert sich die Entwicklung künstlicher Intelligenz (KI) auf riesige Modelle, wie sie Systeme ähnlich ChatGPT antreiben. Doch das Training dieser Modelle stößt auf schwerwiegende Hindernisse, etwa die Instabilität von Signalen während des Lernens. DeepSeek stellte eine Methode vor, die mHC (manifold-constrained hyper-connections, also durch eine Mannigfaltigkeit beschränkte Hyperverbindungen) genannt wird und das seit Langem bestehende Problem „explodierender“ Signale in neuronalen Netzen löst. Dieser Ansatz basiert auf der Idee der ResNets, die seit 2016 den Aufbau tieferer Netze ermöglichen, indem sie Abkürzungsverbindungen nutzen, die Informationen ohne Verluste im Fluss halten.
Saqib Qamar, Autor eines Artikels auf Medium, beschreibt, wie traditionelle Transformer wie eine einspurige Autobahn funktionieren, auf der Informationen linear fließen. Forscher versuchten, dieses Konzept mithilfe von Hyperverbindungen (HC) auf mehrere „Spuren“ zu erweitern, was die gleichzeitige Verarbeitung von mehr Daten ohne zusätzlichen Rechenaufwand ermöglichen würde. Leider führten diese parallelen Spuren zu Chaos: Die Signale wurden entweder bis auf das 3000-Fache verstärkt oder verschwanden vollständig. Dadurch scheiterte das Training nach etwa 12.000 Schritten, was den Verlust wochenlanger Arbeit und Rechenkosten in Millionenhöhe bedeutete.
DeepSeek löste dieses Problem durch die Anwendung mathematischer Beschränkungen auf Grundlage von Mannigfaltigkeiten. Anstatt Informationen frei zwischen den Spuren zu vermischen, zwingt mHC die Signale dazu, sich wie ausgewogene Mittelwerte zu verhalten. Tests mit Modellen von 3 Milliarden bis 27 Milliarden Parametern (das sind einstellbare Werte, die das Modell erlernt) zufolge stabilisierte sich die Signalverstärkung bei ungefähr dem 1,6-Fachen statt extremer Schwankungen. Die Ergebnisse? Eine Leistungsverbesserung von 7,2 % bei komplexen Schlussfolgerungen und von 6,9 % beim Leseverständnis über acht Benchmarks hinweg. Dank Optimierungen für GPUs verlängerte sich die Trainingszeit zudem nur um 6,7 %, obwohl vier parallele Datenströme statt eines einzigen verarbeitet werden.
Grassmann-Flüsse: Eine Alternative zum Aufmerksamkeitsmechanismus
Ein weiterer Artikel auf The Neuron verknüpft die Entdeckung von DeepSeek mit einer Arbeit von Zhang Chong mit dem Titel „Attention Is Not What You Need“ (Aufmerksamkeit ist nicht das, was Sie brauchen). Diese Forschung schlägt vor, den Aufmerksamkeitsmechanismus, der seit 2017 die Grundlage aller großen KI-Modelle bildet, durch etwas völlig anderes zu ersetzen – durch Grassmann-Flüsse. Der Aufmerksamkeitsmechanismus hilft Modellen, Beziehungen zwischen Wörtern in einem Text zu verstehen, beispielsweise „Katze“ mit „müde geworden war“ im Satz „Die Katze setzte sich auf die Matte, weil sie müde geworden war“ zu verknüpfen. Doch wie Harvey erklärt, hat der Aufmerksamkeitsmechanismus seine Grenzen, insbesondere bei der Verarbeitung langer Texte.
Das Problem des Aufmerksamkeitsmechanismus liegt in seiner quadratischen Komplexität: Bei 1000 Token (ein Token entspricht ungefähr einem Wort oder Wortteil) muss das Modell die Beziehungen zwischen jedem Paar berechnen, was eine Million Verbindungen ergibt. Verdoppelt man die Länge auf 2000 Token? Dann vervierfacht sich der Rechenaufwand. Das macht die Verarbeitung von Millionen Token (etwa 750.000 Wörter, was 10 Romanen entspricht) extrem kostspielig. Zhang Chong schlägt Grassmann-Flüsse vor, die Beziehungen zwischen Token mithilfe von Plücker-Koordinaten geometrisch auf einer Grassmann-Mannigfaltigkeit darstellen. Anstelle einer riesigen Aufmerksamkeitsmatrix werden die Token linear verarbeitet – eine Verdopplung der Länge verdoppelt den Rechenaufwand, anstatt ihn zu vervierfachen.
Tests zeigten, dass ein ausschließlich auf Grassmann-Flüssen basierendes Modell mit 13 bis 18 Millionen Parametern bei Aufgaben wie der Sprachmodellierung auf Wikitext-2 und dem Textverständnis auf SNLI Ergebnisse erzielte, die nur 10–15 % schlechter waren als die eines standardmäßigen Transformers. Auf SNLI übertraf es den Transformer sogar leicht. The Neuron betont, dass dieser Ansatz die Modelle besser interpretierbar macht, da die Beziehungen durch mathematische Regeln beschrieben werden und nicht durch zufällige, mittels Gradientenabstieg erlernte Gewichte.
Wie sich diese Innovationen ergänzen
Beide Ansätze befassen sich mit dem mathematischen Chaos in Transformern, jedoch auf unterschiedliche Weise. DeepSeeks mHC fügt der bestehenden Architektur „Leitplanken“ hinzu, um Signalexplosionen zu verhindern, und nutzt für mehr Effizienz Techniken wie den Sinkhorn-Knopp-Algorithmus. Laut Rohan Paul, der in Harveys Artikel zitiert wird, ermöglicht dies ein stabiles Training ohne Leistungseinbußen. Grassmann-Flüsse gehen dagegen noch weiter und behaupten, dass der Aufmerksamkeitsmechanismus unnötig komplex sei – sie ersetzen ihn durch Geometrie, wodurch die Komplexität von quadratisch auf linear sinkt.
Harvey merkt an, dass diese Methoden nicht im Widerspruch zueinander stehen. Sie könnten kombiniert werden: Grassmann-Flüsse für lokale Beziehungen und mHC für tiefere Schichten. DeepSeek, gegründet von Liang Wenfeng, veröffentlicht solche Forschungsarbeiten häufig vor großen Veröffentlichungen, wie etwa dem letztjährigen Modell R1. Es wird erwartet, dass bald ein neues Flaggschiffmodell erscheint, während Grassmann-Flüsse in größerem Maßstab getestet werden.
Diese Entdeckungen machen KI zuverlässiger und effizienter, was in einer Zeit entscheidend ist, in der das Training Dutzende Millionen kostet und Monate dauert.
