Google hat am Dienstag TorchTPU, seine Version des PyTorch-Frameworks, als Open-Source-Projekt veröffentlicht. Damit können Entwickler bestehende KI-Anwendungen auf Googles Chips übertragen, ohne ihren Code neu schreiben zu müssen. Gleichzeitig stellte das Unternehmen ein Tool zur Unterstützung bei der Migration vor und aktualisierte die Unterstützung von LiteRT für PyTorch-Anwendungen.
Wechsel zu TPUs durch eine Konfigurationsänderung
TorchTPU führt KI-Anwendungen auf Tensor Processing Units (TPUs), Googles eigenen KI-Chips, aus. Um bestehende PyTorch-Anwendungen auf TPUs und damit in die Google Cloud zu übertragen, ist lediglich eine einfache Konfigurationsänderung erforderlich.
PyTorch ist ein Open-Source-Toolkit zum Erstellen, Trainieren und Ausführen von KI-Modellen. Seine enge Verbindung zur Hardware von Nvidia hat historische Gründe: Die GPUs des Unternehmens gehörten bereits zur Standardausstattung in der KI-Forschung, als das Framework entwickelt wurde, weshalb viele Funktionen speziell für sie konzipiert wurden.
Kompatibilität mit Entwicklungswerkzeugen und Migrationsunterstützung
Google zufolge arbeitete das Unternehmen bei der Kompatibilität der Funktionen und Bibliotheken von TorchTPU direkt mit Meta, Hugging Face und anderen Partnern zusammen. Zu diesen Partnern gehörten Inferact, der Entwickler von vLLM, und RadixArk, der Hersteller von SGLang. Ziel der Zusammenarbeit war es, TorchTPU mit diesen Entwicklungswerkzeugen ähnlich kompatibel zu machen wie das ursprüngliche PyTorch.
Die neu eingeführte TPU-Agent-Suite soll Entwickler dabei unterstützen, Anwendungen auf Googles Chips und in dessen Cloud zu übertragen. Das eigens dafür entwickelte Tool soll zudem helfen, während der Migration auftretende Fehler zu beheben.
Die Ankündigung umfasst außerdem ein Update für LiteRT, ein Tool zur Ausführung von KI auf Smartphones, Laptops und eingebetteten Geräten. Das Update verbessert dessen Kompatibilität mit KI-Anwendungen, die mit PyTorch entwickelt wurden.
Amazon ebnete bereits einen Tag zuvor den Weg zu Trainium
Googles Veröffentlichung von TorchTPU folgt auf einen ähnlichen Schritt von Amazon einen Tag zuvor. Am Montag veröffentlichte Amazon seine eigene Version von PyTorch namens TorchNeuron, mit der Entwickler KI-Anwendungen ohne Neuschreiben auf Amazon-Trainium-Chips und AWS übertragen können.
Amazon erklärte außerdem, Code zum PyTorch-Hauptprojekt beizusteuern, der verschiedene Funktionen von Nvidias Chips entkoppelt. Durch diese Änderung soll das Framework standardmäßig offener für andere Hardware werden.
