Amazon Web Services, bekannt als AWS, hat gerade interessante Details zu seinem zentralen Dienst für künstliche Intelligenz enthüllt. Laut Julie White, Marketingchefin bei AWS, läuft mehr als die Hälfte des Bedrock-Dienstes auf eigenen Trainium-Chips. Diese Information teilte sie in einem Interview mit TITV von The Information. Bedrock ermöglicht Kunden den Zugriff auf Modelle künstlicher Intelligenz von Unternehmen wie Anthropic und anderen Anbietern.
Zuvor hatten Amazon-Manager solche Details über den Einsatz von Trainium in Bedrock nicht veröffentlicht. Der Bedrock-Dienst läuft auch auf Grafikprozessoren von Nvidia, doch inzwischen setzt AWS stark auf interne Technologie. Trainium ist keine GPU, sondern ein spezialisierter Chip zur Beschleunigung des Trainings und der Inferenz von KI-Modellen. Dieser Ansatz ermöglicht AWS höhere Bruttomargen im KI-Geschäft, da Trainium günstiger ist als GPUs von Nvidia.
Aggressive Rabatte auf Server mit Trainium
AWS bietet mit Trainium betriebene Cloud-Server zu deutlich niedrigeren Preisen an als Server mit Chips von Nvidia. Beispielsweise bieten EC2-Trn2-Instanzen mit Trainium2 eine bis zu viermal höhere Leistung als die erste Trainium-Generation. Diese Instanzen erzielen ein um 30–40 % besseres Preis-Leistungs-Verhältnis als leistungsstarke EC2-Instanzen mit Nvidia-GPUs wie P5e oder P5en.
Trainium2-Chips verfügen über bis zu 96 GB HBM3e-Speicher pro Chip und unterstützen fortschrittliche Verbindungen wie NeuronLink oder EFA. Dies ermöglicht eine Skalierung auf bis zu 100 000 Chips für das Training großer KI-Modelle. Bei realen Workloads für generative KI erzielen sie ein um bis zu 40 % besseres Preis-Leistungs-Verhältnis. AWS verkauft diese Server somit mit Rabatten von bis zu 50 % gegenüber Nvidia, wodurch sich die Trainingskosten um bis zur Hälfte reduzieren.
Vorteile für Kunden und Kompatibilität
Bedrock-Kunden nutzen Trainium zur Optimierung der Latenz bei generativer KI. Beispielsweise läuft das Modell Claude 3.5 Haiku von Anthropic auf Trainium2 um 60 % schneller. Die Chips unterstützen Frameworks wie PyTorch oder JAX, was Entwicklern die Migration und Bereitstellung erleichtert.
AWS bietet weiterhin GPUs von Nvidia an, erhöht jedoch den Anteil von Trainium, um die Abhängigkeit von externen Anbietern zu verringern. Dieser Ansatz führt zu Einsparungen bei den Betriebskosten und stärkt die Position von AWS im Bereich skalierbarer Lösungen für große Modelle mit hohem Speicherbedarf.
Trainium2 eignet sich für Workloads mit hohem Speicherbedarf und große Modelle. AWS bietet damit ein Ökosystem, in dem Kunden problemlos zwischen verschiedenen Technologien wechseln können. Instanzen mit Trainium bieten eine wettbewerbsfähige Leistung bei Training und Inferenz, während die Rabatte diese Option für Unternehmen attraktiv machen, die nach kostengünstigen Cloud-Lösungen suchen.
Quelle: theinformation.com
