Google beschäftigte sich bereits 2006 mit der Idee spezieller Chips für künstliche Intelligenz, doch der eigentliche Handlungsdruck entstand 2013. Damals erkannte das Unternehmen, dass es die Zahl seiner Rechenzentren verdoppeln müsste, wenn es KI in großem Maßstab ausbauen wollte. Deshalb begann Google mit der Entwicklung von TPUs, die 2016 in Produktion gingen. Im Gegensatz zu Amazon, das sich zu dieser Zeit auf die Optimierung für allgemeine Berechnungen konzentrierte, zielte Google direkt auf KI ab.
Das Geschäft mit Anthropic und anderen Unternehmen
TPUs haben sich als erstklassige Systeme für das Training und die Inferenz von KI-Modellen erwiesen und sind mit Nvidia vergleichbar. So wurde beispielsweise Gemini 3, eines der besten Modelle der Welt, vollständig auf TPUs trainiert. Google verkauft TPUs inzwischen auch an externe Kunden wie Anthropic, Meta, Safe Superintelligence (SSI) oder xAI, was die Position von Nvidia gefährdet.
Anthropic schloss mit Google eine riesige Vereinbarung über mehr als 1 Gigawatt an TPU-Leistung. Diese umfasst 400.000 TPUs der Version 7 Ironwood, die Anthropic für rund 10 Milliarden Dollar (etwa 230 Milliarden CZK) direkt von Broadcom kauft. Die verbleibenden 600.000 Einheiten mietet Anthropic über Google Cloud für geschätzte 42 Milliarden Dollar (etwa 966 Milliarden CZK).
Dieses Geschäft hilft Anthropic, seine Abhängigkeit von Nvidia zu verringern. Google gewährte Anthropic besondere Konditionen, darunter Investitionen ohne Stimmrechte und eine Eigentumsobergrenze von 15 %. Anthropic trainierte Modelle wie Sonnet und Opus 4.5 auf TPUs, wodurch das Unternehmen die API-Preise um 67 % senken und die Token-Effizienz verbessern konnte. Opus 4.5 benötigt für die gleiche Leistung 76 % weniger Token als Sonnet.
Weitere Unternehmen wie Meta, SSI, xAI und OpenAI interessieren sich für TPUs, weil sie darin eine Möglichkeit zur Kostensenkung sehen. OpenAI hat allein durch die Androhung eines Wechsels zu TPUs bereits rund 30 % bei seiner Nvidia-GPU-Flotte eingespart, ohne TPUs tatsächlich einzusetzen.
Leistung und Preis der TPUv7 im Vergleich zu Nvidia
Die TPUv7 Ironwood bietet eine ähnliche Leistung wie die Nvidia GB200, jedoch zu geringeren Kosten. Jeder TPUv7-Chip bietet nahezu dieselbe theoretische FLOP-Leistung wie die GB200, mit 192 GB 8-Hi-HBM3E-Speicher und einer Bandbreite, die nahe an der von Nvidia liegt. Im Gegensatz zu Nvidia, das die theoretischen Zahlen aufbläht, gibt Google für die TPU realistischere Werte an.
Die Gesamtbetriebskosten (TCO) der TPUv7 liegen aus Sicht von Google um 44 % unter denen der GB200. Für externe Kunden wie Anthropic bedeutet dies eine Ersparnis von bis zu 30 % gegenüber der GB200 und 41 % gegenüber der GB300. Möglich wird dies durch eine effizientere Auslastung: Die TPU erreicht eine höhere Modell-FLOP-Auslastung (MFU) von bis zu 40 %, wodurch die Kosten pro effektivem FLOP gegenüber der GB300 um 52 % sinken.
Die TPUv7 wird im N3-Verfahren gefertigt und verfügt über größere systolische Arrays (256x256 gegenüber 128x128 beim Vorgänger), die bessere Berechnungen ermöglichen. Sie besitzt weniger Speicher als die GB300 (192 GB gegenüber 288 GB), gleicht dies in der Praxis jedoch durch eine höhere Effizienz aus, insbesondere bei der Inferenz, bei der die Speicherbandbreite entscheidend ist.
Systemarchitektur der TPUv7
Die TPUv7 ist für eine umfangreiche Skalierung ausgelegt. Die Basiseinheit ist ein Rack mit 64 TPU-Chips, die in einem 4x4x4-3D-Torus-Netzwerk miteinander verbunden sind. Jeder Chip ist über den Inter-Chip Interconnect (ICI) mit sechs benachbarten Chips verbunden, wodurch ein Superpod mit bis zu 9216 Chips möglich ist.
Ein Rack enthält 16 TPU-Einschübe mit jeweils 4 Chips sowie Host-CPU-Einschübe. Zur Kühlung wird eine Flüssigkeitskühlung mit geregelten Ventilen eingesetzt, um die Effizienz zu erhöhen – der Durchfluss wird entsprechend der Auslastung angepasst. Die Verbindungen innerhalb des Racks erfolgen über Kupferkabel, die externen Verbindungen über optische Transceiver und optische Switches (OCS).
Dieses Design ist einfacher als Nvidias Oberon NVL72 und kommt ohne komplexe Backplanes aus. Google setzt für eine höhere Zuverlässigkeit auf eine vertikale Stromversorgung und Batterie-Backups. All dies ermöglicht eine hohe Verfügbarkeit und weniger Ausfälle, was für große KI-Modelle entscheidend ist.
Die TPU-Software ist nicht so einfach zu verwenden wie Nvidias CUDA, doch für große Unternehmen wie Anthropic stellt dies kein Problem dar. Ihnen stehen Experten von Google zur Seite, die Kernel für eine hohe Effizienz optimieren. Google öffnet nun das Ökosystem, einschließlich des XLA-Compilers, um weitere Kunden zu gewinnen.
Dies bedroht Nvidia, das darauf mit der Versicherung reagierte, weiterhin an der Spitze zu liegen. Doch mit Modellen wie Gemini 3, das bei Aufgaben wie Vending Bench (einer Unternehmenssimulation) herausragt, stellt die TPU ihre Leistungsfähigkeit unter Beweis. Anthropic erzielte mit TPUs einen neuen Rekord beim SWE-Bench für Programmieraufgaben.
Google verändert damit den Markt für KI-Hardware, bietet eine günstigere Alternative und treibt die Diversifizierung voran.
Quelle: newsletter.semianalysis.com
