Google v úterý zpřístupnil TorchTPU, svou verzi frameworku PyTorch, jako open-source projekt. Vývojářům umožňuje přesunout existující AI aplikace na čipy Googlu bez přepisování jejich kódu. Společně s ním firma uvedla nástroj pro pomoc s migrací a aktualizovala podporu aplikací v PyTorchi v LiteRT.
Na TPU stačí změna konfigurace
TorchTPU umožňuje provozovat AI aplikace na Tensor Processing Units (TPU), vlastních AI čipech Googlu. Převod stávajících aplikací z PyTorche na TPU, a tím i do Google Cloud, se provádí jednoduchou změnou konfigurace.
PyTorch je open-source sada nástrojů pro vytváření, trénování a provoz AI modelů. Jeho vazba na hardware Nvidie má historické kořeny: GPU této firmy už během vývoje frameworku představovaly standard ve výzkumu AI, a řada funkcí proto vznikala přímo pro ně.
Spolupráce s vývojovými nástroji a pomoc při migraci
Google uvádí, že na kompatibilitě funkcí a knihoven TorchTPU spolupracoval přímo s firmami Meta a Hugging Face i dalšími partnery. Zapojeny byly také Inferact, která vyvíjí vLLM, a RadixArk, tvůrce SGLang. Cílem spolupráce bylo zajistit, aby TorchTPU s těmito vývojovými nástroji fungoval obdobně jako původní PyTorch.
S přesunem aplikací na čipy Googlu a do jeho cloudu má vývojářům pomáhat nově uvedený TPU agent suite. Tento specializovaný nástroj má také pomoci opravovat chyby, které se během migrace objeví.
Oznámení zahrnuje i aktualizaci LiteRT, nástroje pro běh AI na telefonech, noteboocích a vestavěných zařízeních. Ta zlepšuje jeho spolupráci s AI aplikacemi vytvořenými v PyTorchi.
Amazon otevřel cestu na Trainium o den dříve
Google přichází s TorchTPU den po podobném kroku Amazonu. Ten v pondělí vydal vlastní verzi PyTorche nazvanou TorchNeuron, která umožňuje převádět AI aplikace bez přepisování na čipy Amazon Trainium a do AWS.
Amazon zároveň uvedl, že do hlavního projektu PyTorch předkládá kód, který odděluje různé funkce od čipů Nvidie. Tato úprava má framework ve výchozím stavu více otevřít i jinému hardwaru.
