Die Rechenleistung der GPUs, die KI antreiben, wird zu einer Ware wie Öl

Im Jahr 1973 veränderte das Ölembargo die Welt. Über Nacht wurde aus etwas, das als gewöhnliche Infrastruktur funktionierte, ein strategischer Rohstoff, um den gekämpft wurde, der gehortet und mit dem gehandelt wurde. Heute geschieht genau dasselbe mit der Rechenleistung für künstliche Intelligenz. Nur geht es statt um Öl um GPU-Chips.

Unternehmen kaufen sie auf Vorrat. Spekulative Investmentfonds investieren in sie. Regierungen beschränken ihren Export. Und auf den Märkten entstehen die ersten Mechanismen, um mit Rechenleistung ähnlich wie mit Rohstoffen zu handeln. Was genau bedeutet dieser Wandel, und warum machen die meisten KI-Teams bei der Auswahl der Infrastruktur noch immer einen grundlegenden Fehler?

Warum GPUs zum Zankapfel zwischen Staaten und Konzernen wurden

Viele Jahre lang entwickelte sich die Rechenleistung vorhersehbar. Alle sechs Monate wurde sie schneller und günstiger, Entwickler konnten einfach abwarten. Das änderte sich in dem Moment, als große Sprachmodelle zeigten, dass Rechenleistung der entscheidende Faktor für die Fähigkeiten künstlicher Intelligenz ist. Das Training von GPT-3 erforderte Hunderte sogenannter Petaflop-Tage an Rechenleistung. Neuere Modelle wie GPT-4 oder Gemini Ultra benötigten deutlich mehr. Jeder Qualitätssprung bei einem Modell bedeutet einen exponentiellen Anstieg der für das Training erforderlichen Rechenleistung.

Die Folge ist, dass die Nachfrage nach hochmodernen Chips für künstliche Intelligenz, insbesondere nach dem NVIDIA H100 und den neueren Modellen H200 und B100, das Angebot bei Weitem überholt hat. Warum lässt sich das nicht schnell beheben? Die Herstellung eines Chips auf höchstem Niveau gehört zu den komplexesten Fertigungsprozessen der Welt. NVIDIA entwickelt die Chips, doch ihre Produktion hängt von den fortschrittlichen Fertigungsverfahren des Unternehmens TSMC in Taiwan ab. Die gesamte Lieferkette, vom Chipdesign über die Verpackung bis hin zur Inbetriebnahme im Rechenzentrum, erstreckt sich über Jahre. Der Bau eines modernen Rechenzentrums für künstliche Intelligenz erfordert eine Leistung von 50 bis 150 Megawatt und dauert ohne Weiteres 18 bis 36 Monate.

Hinzu kommen die seit 2022 eingeführten US-Exportbeschränkungen, die das globale Angebot weiter fragmentieren. Die Auswirkungen auf die Preise waren sehr schnell zu spüren. Als die H100-Chips auf den Markt kamen, kostete ihre Anmietung auf Cloud-Plattformen etwa 2 bis 4 Dollar pro GPU und Stunde. Ende 2023 stiegen die Preise auf dem freien Markt auf 8 Dollar und mehr, manchmal sogar noch höher. So verhalten sich Rohstoffmärkte bei einer Störung des Angebots.

Rohstoff oder nicht? Hier gehen die Meinungen auseinander

Genau hier beginnt eine interessante Debatte. Von außen betrachtet liegt eine einfache Schlussfolgerung nahe: GPUs sind standardisiert, die Preise lassen sich anbieterübergreifend vergleichen, eine H100 ist eine H100. Die Rohstofflogik scheint zu passen. Doch Robert Brooks IV., Chief Commercial Officer des Cloud-Infrastrukturbetreibers Lambda und eines seiner Gründungsmitglieder, stimmt dem nicht zu.

„Wenn Sie ein Rechenzentrum während des Baus und nicht erst danach besuchen würden, wäre die Antwort offensichtlich“, sagt Brooks. An einem der größeren Projekte von Lambda arbeiteten gleichzeitig 3.000 Menschen. Tausende mechanische, elektrische und installationstechnische Komponenten müssen ineinandergreifen, damit ein einzelner GPU-Cluster zuverlässig funktioniert. Hinter jedem API-Aufruf steht eine physische Realität, in der Brooks persönlich Sicherheitsschuhe mit Stahlkappen und einen Schutzhelm trägt.

Der Vergleich mit der Luftfahrt ist treffend. Niemand kauft ein Flugticket, ohne zu wissen, mit welcher Fluggesellschaft und mit welchem Flugzeug er fliegt. Kunden im Bereich Rechenleistung sollten genau dieselben Fragen stellen: Welches Rechenzentrum, welche Klasse, wer betreibt es und handelt es sich womöglich um eine umgebaute Anlage, die zuvor für den Betrieb von Kryptowährungen genutzt wurde?

Zwei Teams, dasselbe Budget und  ein völlig anderes Ergebnis

Forscher von Lambda beschrieben ein konkretes Szenario, das zeigt, worum es genau geht. Zwei Teams stellen jeweils 8.192 GPUs für einen umfangreichen Trainingsprozess bereit. Dasselbe Modell, derselbe Datensatz, dasselbe Budget.

Das erste Team erhält eine speziell für die Anforderungen künstlicher Intelligenz errichtete Anlage mit ausreichender Leistungsdichte, Flüssigkeitskühlung, einer leistungsstarken Netzwerkinfrastruktur und Ingenieuren, die ähnliche Trainingsprozesse bereits zuvor optimiert haben. Die garantierte Systemverfügbarkeit beträgt 99,995 % bei vollständig redundanter Stromversorgung und Kühlung. Die Zielleistung erreichen sie innerhalb von vier Tagen.

Das zweite Team landet in einer Standardanlage mit geringerer Redundanz, Luftkühlung und einem Supportteam, das zwar Knoten neu starten kann, aber noch nie den Ausfall eines Trainingsprozesses auf Tausenden von GPUs diagnostiziert hat. Nach drei Wochen hat das zweite Team kein einziges brauchbares Trainingsziel abgeschlossen. Die Rechnung für die Rechenzeit lief währenddessen ununterbrochen weiter.

Dabei handelt es sich nicht nur um theoretische Szenarien. Lambda dokumentierte in seiner eigenen Untersuchung zur Model FLOPs Utilization, wie es gelang, die Auslastung der Rechenleistung beim Training des Modells Llama-3.1-70B von 23,83 % auf 50,20 % zu steigern. Weder das Modell noch der Datensatz wurden verändert. Geändert wurde die Konfiguration der Infrastruktur. Bei einem solchen Unterschied dauert etwas, das sonst Monate in Anspruch nehmen würde, nur Wochen, und die Rechnung für die Rechenleistung halbiert sich unmittelbar.

Wo das eigentliche Problem liegt: drei entscheidende Ebenen

Die Rechenleistung für künstliche Intelligenz beruht nicht nur auf den Chips selbst. Lambda hat drei Bereiche identifiziert, die darüber entscheiden, ob ein Modell innerhalb von Wochen oder erst nach Monaten entsteht.

Standort und Qualität des Rechenzentrums sind entscheidend, weil sich die meisten grundlegenden Eigenschaften nach dem Aufbau des Clusters nicht mehr ändern lassen. Rechenzentren werden in vier Klassen unterteilt. Klasse 3 ist für gleichzeitige Wartungsarbeiten ausgelegt, Klasse 4 bietet zusätzlich Fehlertoleranz, sodass der Ausfall eines einzelnen Geräts oder eine Unterbrechung der Versorgung den Betrieb überhaupt nicht beeinträchtigt. Lambda arbeitet ausschließlich mit Anlagen der Klassen 3 und 4.

Die Art der Clusterkonzeption entscheidet darüber, was Sie letztlich erhalten. Die Anzahl der GPUs ist nur ein Faktor. Das eigentliche Produkt ist die ununterbrochene Beschleunigerzeit. Sie hängt von Stromversorgung, Kühlung, Netzwerkinfrastruktur, Speicher, Orchestrierung und den Ingenieuren ab, die die Arbeitslast für den jeweiligen Cluster optimieren können. Die Rechenleistungsdichte wird durch die gesamte Anlage begrenzt, nicht nur durch den Stromliefervertrag.

Wer den Cluster optimiert, ist die dritte Ebene, die am häufigsten übersehen wird. Die Infrastruktur für künstliche Intelligenz entwickelt sich schneller, als Rechenzentren darauf reagieren können. GPU-Generationen, Kühlungsanforderungen und Energiebedarf ändern sich alle 12 bis 13 Monate. Teams, die die volle Leistung aus Clustern herausholen, arbeiten gleichzeitig auf drei Ebenen: physische Infrastruktur, Systemtechnik und Optimierung von Arbeitslasten des maschinellen Lernens. Die meisten Anbieter decken davon nur einen Teil ab.

Staaten, Fonds und die ersten Terminmärkte

Rechenleistung zieht ein Interesse auf sich, das früher nur physischen Rohstoffen vorbehalten war. NVIDIA wurde 2024 zum wertvollsten Unternehmen der Welt, unter anderem weil es an der Schnittstelle der gesamten KI-Lieferkette sitzt. Die US-Exportbeschränkungen für fortschrittliche Chips für künstliche Intelligenz sind ausdrücklich darauf ausgelegt, China daran zu hindern, genügend Rechenleistung für das Training der modernsten Modelle anzuhäufen. Die G7 diskutiert über eine Koordinierung im Bereich der Lieferketten für KI-Chips.

Auf den Finanzmärkten entstehen erste Mechanismen, die Terminkontrakten ähneln und mit denen sich Käufer den künftigen Zugang zu Rechenleistung zu einem festen Preis sichern. Die Logik ist dieselbe wie beim Öl: Sie wissen, dass Sie in sechs Monaten einen großen GPU-Cluster für einen Trainingsprozess benötigen, und wollen weder eine Preissteigerung noch mangelnde Verfügbarkeit riskieren. Unternehmen wie CoreWeave schließen mit KI-Laboren langfristige Verträge über die Bereitstellung von Rechenleistung ab, die wirtschaftlich genauso funktionieren wie klassische Lieferverträge.

Für Unternehmen, die Rechenleistung lediglich nutzen und nicht selbst betreiben, bedeutet all dies vor allem eines: Die Wahl des Infrastrukturanbieters ist kein technisches Detail mehr, sondern eine strategische Entscheidung, die sich auf die Geschwindigkeit, die Kosten und darauf auswirkt, ob das Projekt überhaupt erfolgreich umgesetzt wird.

Quellen: thedeepview.com und mindstudio.ai