Konkurence pro Nvidi? Positron Atlas, GPU, která šetří energii a přináší rychlost

Představte si svět umělé inteligence, kde výkonnost nejde na úkor obrovské spotřeby energie. Společnost Positron AI přichází s akcelerátorem Atlas (GPU), která podle jejich tvrzení překonává Nvidia H200 v oblasti odvozování (inference) při použití pouze 33 % energie. Tento článek se zaměřuje na detaily z dostupných zdrojů, včetně srovnání výkonu a technických specifikací, abychom vám přinesli jasný a přitažlivý pohled na tuto novinku.

Atlas vs. Nvidia H200

Akcelerátor Atlas od Positron AI dosahuje výkonu přibližně 280 tokenů za sekundu na uživatele při práci s modelem Llama 3.1 8B, a to vše při spotřebě 2000 W. Na druhé straně systém 8x Nvidia DGX H200 dosahuje kolem 180 až 182 tokenů za sekundu na uživatele, ale vyžaduje až 5900 W. To znamená, že Atlas spotřebuje zhruba třetinu energie oproti Nvidia H200 pro podobné nebo lepší výsledky v úkolech odvozování transformátorů. Podle interních benchmarků Positron AI a prvních testů třetích stran je Atlas 3 až 4,5krát lepší v poměru výkonu na watt a 3 až 3,1krát lepší v poměru hodnoty na dolar. Tyto čísla ukazují na potenciál snížit náklady na datová centra až o polovinu pro srovnatelné AI úkoly.

Technické detaily a architektura

Atlas je navržen speciálně pro odvozování, na rozdíl od Nvidia H200, který je univerzálnější GPU pro AI. Jeho custom architektura založená na FPGA dosahuje více než 93 % využití šířky pásma paměti, což je výrazně více než 10 až 30 % u typických GPU. Tento přístup umožňuje vyšší propustnost a nižší latenci pro velké jazykové modely. Atlas podporuje všechny transformátorové modely z Hugging Face a nabízí API kompatibilní s OpenAI, což usnadňuje integraci do stávajících systémů. Není však určen pro trénování AI nebo jiné univerzální výpočty, kde Nvidia stále dominuje.

Dostupnost a praktické nasazení

Atlas je již dodáván podnikovým a cloudovým zákazníkům, včetně společnosti Cloudflare, která ho nasadila v raných fázích. Tato specializace na odvozování přináší výhody v úsporách energie – až 66 až 70 % méně spotřeby pro podobný výkon. Je důležité zmínit, že tyto údaje vycházejí převážně z interních testů Positron AI a ještě nebyly široce ověřeny nezávislými recenzenty. Přesto to naznačuje slibný posun v oblasti efektivních AI výpočtů.

Tento vývoj od Positron AI by mohl změnit, jak firmy přistupují k velkým AI modelům, díky kombinaci rychlosti, úspor a snadné integrace. Pokud hledáte způsoby, jak optimalizovat své AI operace, Atlas stojí za pozornost.