Amazon Web Services, známý jako AWS, právě odhalil zajímavé detaily o své klíčové službě pro umělou inteligenci. Podle Julie White, šéfky marketingu v AWS, běží více než polovina služby Bedrock na vlastních čipech Trainium. Tuto informaci sdílela v rozhovoru pro The Information’s TITV. Bedrock slouží zákazníkům k přístupu k modelům umělé inteligence od firem jako Anthropic a dalších poskytovatelů.
Dříve manažeři Amazonu takové podrobnosti o využití Trainium v Bedrock nesdíleli. Služba Bedrock funguje i na grafických procesorech od Nvidia, ale nyní se AWS silně opírá o interní technologii. Trainium není GPU, ale specializovaný čip určený k urychlení tréninku a inference modelů umělé inteligence. Tento přístup umožňuje AWS dosáhnout lepších hrubých marží z AI, protože Trainium je levnější než GPU od Nvidia.
Agresivní slevy na servery s Trainium
AWS nabízí cloudové servery poháněné Trainium za výrazně nižší ceny než ty s čipy od Nvidia. Například instance EC2 Trn2 s Trainium2 poskytují až čtyřnásobný výkon oproti první generaci Trainium. Tyto instance dosahují 30–40% lepšího poměru ceny a výkonu než špičkové instance EC2 s GPU od Nvidia, jako P5e nebo P5en.
Trainium2 čipy mají až 96 GB paměti HBM3e na čip a podporují pokročilé propojení jako NeuronLink nebo EFA. To umožňuje škálování až na 100 000 čipů pro trénink velkých modelů umělé inteligence. V reálných workloadách generativní AI dosahují až 40% lepšího poměru ceny a výkonu. AWS tak prodává tyto servery se slevami až 50% oproti Nvidia, což snižuje náklady na trénink až o polovinu.
Výhody pro zákazníky a kompatibilita
Zákazníci Bedrocku využívají Trainium pro optimalizaci latence v generativní AI. Například model Claude 3.5 Haiku od Anthropic běží na Trainium2 o 60% rychleji. Čipy podporují frameworky jako PyTorch nebo JAX, což usnadňuje migraci a nasazení pro vývojáře.
AWS stále nabízí GPU od Nvidia, ale zvyšuje podíl Trainium, aby snížil závislost na externích dodavatelích. Tento přístup přináší úspory v operačních nákladech a posiluje pozici AWS v oblasti škálovatelných řešení pro velké modely s vysokými paměťovými nároky.
Trainium2 se hodí pro workloady s vysokými paměťovými požadavky a velkými modely. AWS tak nabízí ekosystém, kde zákazníci mohou snadno přecházet mezi technologiemi. Instance s Trainium poskytují konkurenční výkon v tréninku a inference, přičemž slevy dělají tuto volbu atraktivní pro firmy hledající cenově dostupná řešení v cloudu.
Zdroj: theinformation.com
