Extropic, ein auf Hardware für künstliche Intelligenz (KI) spezialisiertes Startup, hat einen neuen Rechenansatz vorgestellt, der eine drastische Senkung des Energieverbrauchs verspricht. Vor drei Jahren setzten sie darauf, dass Energie zum wichtigsten begrenzenden Faktor für das Wachstum der KI werden würde. Jetzt behaupten sie, recht gehabt zu haben. Ihre Lösung besteht aus Hardware, die generative KI mit einem wesentlich geringeren Energieverbrauch als heutige GPUs betreiben kann. Konkret entwickelten sie den ersten skalierbaren probabilistischen Computer, stellten Schaltkreise her, die Aufgaben mit weniger Energie verarbeiten, und entwickelten einen neuen Algorithmus für diese Hardware.
Das Unternehmen Extropic sieht eine Zukunft, in der KI dabei hilft, neue Medikamente zu entdecken, das Wetter vorherzusagen oder die Produktion zu automatisieren. Doch mit der heutigen Technologie würde ein solcher Umfang mehr Energie verbrauchen, als wir erzeugen können. Deshalb konzentrierten sie sich auf die Recheneffizienz. Anstatt die Energieproduktion zu steigern, setzen sie auf die Idee, dass ein besserer Computer in einer kleinen Garage unweit von Boston entwickelt werden kann.
Das Energieproblem in KI-Systemen
Heutige KI-Systeme, die GPUs verwenden, verbrauchen enorme Mengen an Energie, vor allem wegen der Kommunikation zwischen den einzelnen Teilen des Chips. Das Übertragen von Informationsbits erfordert das Aufladen von Leitungen, was viel Energie kostet. Die Kapazität der Leitungen und die Spannung für Signale sind in den vergangenen Jahrzehnten kaum gesunken. Extropic behauptet, dass eine Fortsetzung dieses Ansatzes enorme Energiemengen erfordern würde, da Rechenzentren bereits jetzt mit Strommangel zu kämpfen haben. 92 % der Führungskräfte von Rechenzentren sehen Netzbeschränkungen als großes Wachstumshindernis.
Extropic entschied sich, die gesamte Architektur neu zu überdenken. Die heutigen KI-Algorithmen wurden für GPUs entwickelt, die ursprünglich der Grafikverarbeitung dienten. Diese Entwicklung war eher eine Evolution als ein gezieltes Design. Doch die Anforderungen haben sich in Richtung probabilistischer Berechnungen und Energieeinsparungen verlagert. Deshalb entwickelte Extropic eine speziell auf diese Anforderungen zugeschnittene Hardware.
Was ist eine thermodynamische Sampling-Einheit (TSU)?
Extropic stellte einen neuen Hardwaretyp vor, der als thermodynamische Sampling-Einheit (TSU) bezeichnet wird. Im Gegensatz zu CPUs oder GPUs, die deterministische Operationen verarbeiten, erzeugt die TSU Stichproben aus einer programmierbaren Verteilung. Generative KI bedeutet im Wesentlichen das Sampling aus einer komplexen Wahrscheinlichkeitsverteilung. Moderne Systeme tun dies durch Matrixmultiplikation, doch die TSU überspringt diesen Schritt und zieht direkt Stichproben aus komplexen Verteilungen.
Die TSU arbeitet mit energiebasierten Modellen (Energy-Based Models, EBM), bei denen die Eingaben eine Energiefunktion definieren und die Ausgaben Stichproben aus dieser Verteilung sind. Die TSU besteht aus großen Feldern von Sampling-Kernen, die den Gibbs-Sampling-Algorithmus nutzen. Dieser Algorithmus führt einfache Operationen für komplexe Modelle aus. Die Hardware kombiniert einfache probabilistische Schaltkreise zu komplexeren Verteilungen.
Die TSU-Architektur unterscheidet sich von einer GPU dadurch, dass sie Informationen verteilt speichert und verarbeitet, wobei die Kommunikation nur zwischen benachbarten Schaltkreisen erfolgt. Dies minimiert den Energiebedarf für die Datenübertragung. Extropic hat die Bibliothek thrml zur Simulation dieser Hardware veröffentlicht, damit Entwickler Algorithmen testen können.
Grundlegender Baustein: Probabilistisches Bit (pbit)
Die erste Generation der TSU basiert auf einem Netzwerk probabilistischer Bits (pbits). Jedes pbit erzeugt eine Spannung, die zufällig zwischen zwei als 1 oder 0 interpretierten Zuständen schwankt. Die Wahrscheinlichkeit eines Zustands ist programmierbar, sodass ein pbit als Quelle für Stichproben aus einer Bernoulli-Verteilung dient. Mithilfe einer Steuerspannung lässt sich einstellen, dass das Signal mehr Zeit in einem bestimmten Zustand verbringt.
Ein einzelnes pbit ist lediglich ein Zufallszahlengenerator, doch die Verbindung vieler pbits bildet eine hochentwickelte TSU. Die Wahrscheinlichkeit jedes pbits hängt vom Bias und der gewichteten Summe der Werte benachbarter pbits ab. Extropic entwickelte ein neues Modell für Rauschen in elektronischen Schaltkreisen, wodurch ein pbit mit geringerem Energieverbrauch bei der Erzeugung von Zufälligkeit entworfen werden konnte.
Diese pbits sind klein, energieeffizient und bestehen ausschließlich aus Transistoren. Extropic testete sie im Hardwareprototyp XTR-0, der bereits von Partnern erprobt wird. Dadurch lassen sich pbits einfach in eine vollständige TSU integrieren.
Neues Modell: Denoising Thermodynamic Model (DTM)
Zur Demonstration der Hardware entwickelte Extropic ein neues generatives Modell namens Denoising Thermodynamic Model (DTM). Inspiriert von Diffusionsmodellen erzeugt das DTM Daten, indem es sie über mehrere Phasen schrittweise aus dem Rauschen herausarbeitet. Auf einer TSU könnte das DTM mit einem bis zu 10.000-mal geringeren Energieverbrauch als Algorithmen auf GPUs ausgeführt werden, wie Simulationen mit dem Fashion-MNIST-Benchmark nahelegen.
Extropic veröffentlichte einen Artikel mit Ergebnissen, in dem Simulationen kleiner Teile der TSU einen geringeren Energieverbrauch zeigten. Das DTM ist das erste Beispiel dafür, was sich mit einer TSU umsetzen lässt. Das Unternehmen stellte die Bibliothek thrml als Open Source zur Verfügung und finanzierte eine unabhängige Replikation der Ergebnisse, die auf einer GPU ausgeführt werden kann.
Extropics Pläne
Extropic geht nun von der Forschung zur Produktion über. Das Unternehmen sucht Entwickler für integrierte Schaltungen und Ingenieure für den Bau größerer Systeme. Es will die Algorithmen auf das Niveau heutiger Basismodelle skalieren, einschließlich hybrider Lösungen mit GPUs. Darüber hinaus plant es Partnerschaften für Simulationen in Biologie und Chemie.
Die Gründer Guillaume Verdon und Trevor McCourt sind überzeugt, dass ihr Ansatz die energetischen Beschränkungen für das Wachstum der KI beseitigen wird. Verdon, ein ehemaliger Google-Mitarbeiter im Bereich Quantencomputing, ist unter dem Pseudonym Based Beff Jezos bekannt. Ihr Z-1-Chip mit 250.000 pbits soll Diffusionsmodelle wie Sora oder Midjourney bewältigen können. Extropic sieht Intelligenz in der chaotischen Natur des Universums, in der Zufälligkeit der Schlüssel zum Fortschritt ist.
