V poslední době se objevují zprávy, které naznačují, že Amazon má potíže s prosazením svých vlastních čipů pro umělou inteligenci (AI) mezi startupovými firmami. Podle interního dokumentu společnosti Amazon z července, který získal Business Insider, několik startupů považuje čipy Trainium 1 a Trainium 2 za méně výkonné než grafické procesory (GPU) H100 od společnosti Nvidia. Tento dokument, označený jako důvěrný, popisuje konkrétní zkušenosti firem jako Cohere a Stability AI, které testovaly tyto čipy v praxi.
Startup Cohere, který se zabývá vývojem AI, hlásil, že čipy Trainium 1 a Trainium 2 nedosahují výkonu GPU H100 od Nvidie. Přístup k Trainium 2 byl navíc extrémně omezený a často docházelo k výpadkům služeb. Amazon v dokumentu uvádí, že tyto problémy s výkonem stále vyšetřuje společně se svou divizí Annapurna Labs, ale pokrok je omezený. Mluvčí Amazonu později prohlásil, že situace s Cohere už není aktuální a že společnost oceňuje zpětnou vazbu od zákazníků, která pomáhá zlepšovat čipy.
Podobné zkušenosti měla i firma Stability AI, známá generováním obrázků pomocí AI. Podle dokumentu tyto startupy zjistily, že Trainium 2 zaostává za H100 v latenci, což znamená delší dobu zpracování úkolů. To činí čipy Amazonu méně konkurenceschopnými jak v rychlosti, tak v nákladech. Další startup Typhoon zjistil, že starší GPU A100 od Nvidia jsou až třikrát efektivnější v nákladech než Inferentia 2 od AWS pro určité úlohy. Výzkumná skupina AI Singapore pak porovnala servery G6 s GPU Nvidia a dospěla k závěru, že nabízejí lepší poměr ceny a výkonu než Inferentia 2 v několika případech. Inferentia čipy slouží hlavně k provozování AI modelů (inference), zatímco Trainium se zaměřuje na jejich trénování.
Důležitost vlastních čipů pro AWS
Amazon spoléhá na své vlastní čipy Trainium, aby posílil růst v oblasti cloudových služeb pro AI. Úspěch Amazon Web Services (AWS) v minulosti spočíval v tom, že společnost navrhovala vlastní čipy pro datová centra místo nákupu drahých komponent od Intelu. V současné době generativní AI se Amazon snaží vyhnout vysokým nákladům na GPU od Nvidie, přestože chce zákazníkům poskytovat výkonné služby. Pokud zákazníci budou trvat na použití Nvidia čipů, mohlo by to ovlivnit ziskovost AWS, protože společnost bude muset platit více za tyto komponenty.
AWS tvrdí, že jejich čipy nabízejí o 30 % až 40 % lepší poměr ceny a výkonu než současná generace GPU. Společnost má talentovaný tým na design čipů a pracuje na nových verzích, včetně Trainium 3, který má být představen ještě letos. Mluvčí Amazonu zmínil, že Trainium 2 je plně obsazený a používají ho velcí zákazníci jako Anthropic. Další firmy jako Ricoh, Datadog a Metagenomi dosáhly dobrých výsledků s Trainium a Inferentia. Amazon plánuje rozšířit dostupnost pro více zákazníků s příchodem Trainium 3.
Generální ředitel AWS Matt Garman a generální ředitel Amazonu Andy Jassy nedávno hovořili o růstu. Během konferenčního hovoru k výsledkům za čtvrtletí Jassy uvedl, že Trainium 2 je vícemiliardový byznys, který roste o 150 % čtvrtletně. Přesto zůstávají technické limity, které brání zákazníkům přejít na čipy Amazonu.
Tržní postavení a partnerství
Na trhu AI čipů dominuje Nvidia s více než 78 % podílem, následovaná Googlem a AMD, každá s přes 4 %, podle výzkumné firmy Omdia. Čipy AWS jsou na šestém místě s pouhými 2 %. To ilustruje, jak těžké je pro Amazon prosadit se.
Nová dohoda mezi AWS a OpenAI v hodnotě 38 miliard USD zahrnuje cloudové servery pouze s GPU Nvidie, bez zmínky o Trainium. Analytici z Mizuho to považují za zklamání a poznamenávají, že je logické začít s Nvidií kvůli jejich lepšímu výkonu a platformě CUDA, kterou vývojáři dobře znají. To je důležité pro velké AI projekty, kde spolehlivost hraje klíčovou roli.
Nejvýznamnějším zákazníkem Trainium je Anthropic, tvůrce modelů Claude. AWS spustilo projekt Rainier, obří datové centrum s půl milionem čipů Trainium pro trénování další generace AI modelů Anthropicu. Do konce roku má Anthropic nasadit více než milion čipů Trainium 2. Anthropic nedávno rozšířil spolupráci s Googlem na čipy TPU, což způsobilo pokles akcií Amazonu, ale firma ujišťuje, že pokračuje v používání Trainium.
Jassy na konferenčním hovoru zdůraznil, že AWS nabízí více možností čipů, aby uspokojilo různé potřeby zákazníků, podobně jako v jiných oblastech cloud computingu. Po zveřejnění výsledků, kdy příjmy AWS vzrostly o 20 % na 33 miliard USD, akcie Amazonu posílily. To je nejrychlejší růst od roku 2022, i když pomalejší než u konkurentů jako Microsoft nebo Google Cloud.
Zdroje: businessinsider.com a theinformation.com
