Wissenschaftler erzielen eine superlineare Beschleunigung beim Training eines 100-Milliarden-Modells

Eine neue Ära des heterogenen maschinellen Lernens

Forscher des Shanghai Artificial Intelligence Laboratory unter der Leitung von Ding Tang, Jiecheng Zhou, Jiakai Hu, Shengwei Li, Huihuang Zheng, Zhilin Pei, Hui Wang und Xingcheng Zhang stellten ein bahnbrechendes Framework namens H2 (HyperHetero) vor, das ein effizientes Training großer Sprachmodelle auf Clustern mit mehr als 1.000 heterogenen Chips verschiedener Hersteller ermöglicht. Diese Technologie löst eines der bedeutendsten Probleme der heutigen KI-Entwicklung – die effiziente Nutzung von Rechenressourcen unterschiedlicher Chiptypen, die sich hinsichtlich Rechenleistung, Speicher und Kommunikationsfähigkeiten unterscheiden.

Gängige Ansätze für das verteilte Training großer Modelle wurden für homogene Umgebungen entwickelt, in denen alle Chips von einem einzigen Hersteller stammen und ähnliche Eigenschaften aufweisen. Die aktuelle Situation in der Industrie erfordert jedoch die Nutzung diversifizierter Hardwareressourcen, da es aufgrund begrenzter Produktionskapazitäten oder der spezifischen Eignung für bestimmte Rechenaufgaben unzureichend sein kann, sich ausschließlich auf einen Chiptyp zu verlassen. Hyperheterogene Rechenumgebungen zeichnen sich durch drei wesentliche Merkmale aus: deutlich unterschiedliche Hardwarespezifikationen ohne klare Muster, Softwareisolierung zwischen Chips verschiedener Hersteller und eine stark unausgewogene Verteilung verschiedener Chiptypen innerhalb eines einzelnen Clusters.

Überwindung der technischen Isolation

Das H2-Framework löst das Problem der technischen Isolation zwischen verschiedenen Chiptypen mithilfe von drei Hauptkomponenten. Die erste Komponente ist DiTorch, eine einheitliche, mit PyTorch kompatible Schnittstelle, die Operatorbibliotheken und Laufzeitumgebungen über heterogene Chips hinweg standardisiert. DiTorch nutzt PyTorch als einheitliche Programmierschicht und implementiert eine Bottom-up-Pipeline zur Genauigkeitsabstimmung, die zunächst numerische Konsistenz auf Operatorebene über verschiedene Chips hinweg erzwingt und anschließend eine End-to-End-Genauigkeitsabstimmung auf Modellebene erreicht.

DiTorch integriert zwei Hauptstrategien zur Verbesserung der Interoperabilität zwischen verschiedenen KI-Hardwareplattformen. Der Torch Adapter kann vom Chiphersteller bereitgestellt werden, alternativ kann direkt die Device-Independent Process Unit (DIPU) verwendet werden, die die grundlegenden Laufzeitsysteme verschiedener Hersteller in einheitlichen APIs harmonisiert. Darüber hinaus verbindet das Device-Independent Operator Interface (DIOPI) die einheitliche Torch-Operator-API mit an bestimmte Hersteller angepassten Operatorbibliotheken und gewährleistet so eine konsistente semantische Interpretation über alle Operatoren hinweg. Derzeit sind in DIOPI mehr als 300 standardisierte Operatorschnittstellen implementiert.

Die zweite Komponente ist DiComm, eine einheitliche Kommunikationsbibliothek, die Isolation und Ineffizienz in komplexen heterogenen Umgebungen überwindet. DiComm nutzt die Bibliothek libibverbs und ermöglicht die RDMA-Kommunikation über verschiedene Chiparchitekturen hinweg, wobei sowohl homogene als auch heterogene Chip-zu-Chip-Interaktionen unterstützt werden. Die Bibliothek implementiert zwei unterschiedliche Kommunikationsmodelle: CPU-vermittelt und gerätedirekt. Bei der gerätedirekten Methode registriert jeder Chip seine lokalen Speicherbereiche beim RDMA-Treiber, sodass die RDMA-fähige NIC physische Adressen für den Fernzugriff abbilden kann. Experimentelle Ergebnisse zeigen, dass gerätedirektes RDMA die durchschnittliche Latenz gegenüber dem herkömmlichen TCP/IP-Schema um den Faktor 9,94 reduziert.

Heterogener Parallelismus und automatische Strategiesuche

Die dritte Schlüsselkomponente ist das HeteroPP-Framework zusammen mit HeteroAuto, einer adaptiven Strategie für Pipeline-Parallelismus, die Rechenlast, Speicherbeschränkungen und Kommunikationsaufwand dynamisch ausbalanciert. HeteroPP erweitert den Pipeline-Parallelismus auf heterogene KI-Chip-Cluster für das verteilte Training großer Sprachmodelle. Jede Pipeline-Stufe besteht ausschließlich aus einem homogenen Chiptyp, wobei heterogene Knoten strategisch über verschiedene Stufen verteilt werden. Chips mit größerer Speicherkapazität werden früheren Pipeline-Stufen zugeordnet, während Chips mit kleinerem Speicher späteren Stufen zugewiesen werden.

HeteroAuto stellt eine automatisierte Suchmethode zur Optimierung der Konfigurationen paralleler Strategien in heterogenen Chipumgebungen dar. Das System nutzt eine Tiefensuche-Methodik (DFS) und heuristische Suche, um die beste Verteilung der Schichten zu ermitteln. Der Algorithmus identifiziert zunächst einen geeigneten Grad an Datenparallelismus und unterteilt anschließend große Gruppen homogener Chips in kleinere Untergruppen, die als separate heterogene Einheiten verarbeitet werden. Zur Steigerung der Trainingseffizienz in heterogenen Konfigurationen wurde eine topologiebewusste Strategie zur Neuverteilung von Aktivierungen entwickelt, die jeden Chipserver so konfiguriert, dass jedem Chip auf Grundlage seiner NIC-Affinität eine dedizierte Kommunikations-NIC zugewiesen wird.

Experimentelle Validierung und erzielte Ergebnisse

Die Forscher validierten ihr Framework an einem Modell mit 100 Milliarden Parametern und einer Architektur, die auf den Strukturprinzipien von LLaMA basiert. Das Modell umfasst 96 Schichten, 64 Attention-Heads, eine Hidden Size von 8192 und eine Intermediate Size von 36864 bei einer maximalen Sequenzlänge von 4096 Token. Die Tests wurden mit vier verschiedenen KI-Chiptypen durchgeführt, die als Chip-A, Chip-B, Chip-C und Chip-D bezeichnet wurden und sich hinsichtlich Rechenleistung, Speicherkapazität und Anzahl der Chips pro Knoten unterschieden.

Die experimentellen Ergebnisse belegen die außergewöhnliche Effizienz des H2-Frameworks. In einer Konfiguration mit 768 Chips dreier Typen erreichte das System eine HeteroSpeedupRatio von 109,03 %, während es mit 1.024 Chips vier verschiedener Typen 104,29 % erzielte. Selbst bei konstanter globaler Batch Size erreichte das System 89,56 % beziehungsweise 77,45 %. Diese Ergebnisse zeigen, dass heterogenes Training im Vergleich zum Referenzdurchsatz homogenen Trainings eine konkurrenzfähige und in einigen Fällen sogar überlegene Effizienz erreichen kann.

Die superlineare Leistungssteigerung lässt sich dadurch erklären, dass herkömmliches dreidimensionales paralleles Training dazu neigt, die unausgewogenen Ressourcenanforderungen verschiedener Rechenaufgaben zu übersehen, während das HeteroPP-Framework mit HeteroAuto diese Ungleichgewichte durch die intelligente Zuweisung von Chipaufgaben und die Feinabstimmung der Trainingshyperparameter anhand spezifischer Ressourcenanforderungen ausnutzt. In praktischen Produktionsumgebungen weisen Chips mit niedrigeren Spezifikationen im Vergleich zu High-End-Chips üblicherweise deutlich niedrigere Preise und einen geringeren Energieverbrauch auf, wodurch das Framework wirtschaftlich vorteilhaft ist.

Zukunftsperspektiven und Bedeutung

Das H2-Framework stellt einen bedeutenden Fortschritt im Bereich des verteilten maschinellen Lernens dar, da es die effiziente Integration vielfältiger Hardwareressourcen in ein einheitliches Rechensystem ermöglicht. Diese Technologie besitzt das Potenzial, die Art und Weise zu revolutionieren, wie Organisationen an das Training großer Sprachmodelle herangehen, da sie ihnen die Nutzung bestehender heterogener Infrastrukturen ermöglicht, anstatt Investitionen in homogene Cluster zu erfordern. Die Ergebnisse der Experimente mit dem 100-Milliarden-Modell bestätigen die Machbarkeit und Effizienz des hyperheterogenen Trainings in einem bisher beispiellosen Maßstab und eröffnen damit neue Möglichkeiten für die Entwicklung noch größerer und komplexerer KI-Systeme unter Nutzung diversifizierter Rechenressourcen.