OpenAI hat erstmals Details zu seinem ersten eigenen Chip enthüllt und dazu Messdaten veröffentlicht. Er heißt Jalapeño, entstand in Zusammenarbeit mit Broadcom und kann laut unternehmenseigenen Tests bei gleichem Stromverbrauch mehr Anfragen verarbeiten als die besten kommerziell verfügbaren Systeme und diese zudem schneller beantworten. OpenAIs Hardwarechef Richard Ho sprach vor Journalisten von einem großen Sprung gegenüber dem, was die besten derzeit verfügbaren Systeme leisten können
Was Jalapeño kann und was nicht
Jalapeño ist ein Chip für den Betrieb bereits trainierter Modelle, also für den Moment, in dem ein Nutzer eine Anfrage sendet und das System ihm Wort für Wort eine Antwort zusammensetzt. Mit dem Training neuer Modelle hat diese Lösung nichts zu tun, wobei Nvidia gerade in diesem Bereich eine sehr starke Position innehat. OpenAI räumt daher offen ein, auch weiterhin in großem Umfang Beschleuniger von Nvidia und anderen Partnern einzusetzen, sowohl für die Trainingsphase als auch für den eigentlichen Betrieb.
Der Chip hat eine Leistungsaufnahme von 700 Watt, wobei sein tatsächlicher langfristiger Stromverbrauch bei den getesteten Aufgaben bei 550 Watt oder darunter lag. Die verglichenen Systeme von Nvidia weisen einen deutlich höheren Verbrauch auf: Bei der Plattform GB200 sind es 1 200 Watt und bei GB300 1 400 Watt. Richard Ho erklärte, dass gerade der niedrige Stromverbrauch die Stromrechnungen der Rechenzentren senken solle, und fügte hinzu, dass der Betrieb dank des Chips deutlich günstiger werden dürfte.
Wie die Messungen durchgeführt wurden
OpenAI unterzog den Chip dem öffentlichen Test InferenceX des Analyseunternehmens SemiAnalysis, der den gesamten Prozess der Bearbeitung einer einzelnen Anfrage und nicht nur einzelne Leistungsaspekte erfasst. Die Tests liefen auf drei öffentlich verfügbaren Modellen, konkret auf dem eigenen kleineren offenen Modell GPT-OSS 120B, auf DeepSeek R1 und auf der Billionen-Parameter-Version des Modells Kimi K2.5 von Moonshot AI. Das Unternehmen rechnete die Ergebnisse auf eine Einheit der Leistungsaufnahme um, da es selbst die Effizienz pro Watt für eine aussagekräftigere Kennzahl hält als die Leistung des Prozessors allein.
Bei allen drei Modellen erledigte Jalapeño laut OpenAI unter Volllast 1,5- bis 1,9-mal mehr Arbeit pro Watt und lieferte die Antwort mit einer 1,7- bis 3,6-mal geringeren Latenz. Bei hochgradig interaktiven Aufgaben, bei denen es auf eine sofortige Reaktion ankommt, stieg der Unterschied auf das 2,1- bis 4,1-Fache.
Die Zahlen zeigen, worin diese Unterschiede bestehen. Beim Modell GPT-OSS 120B dauerte die vollständige Antwort gerundet eine Sekunde, während es beim Vergleichssystem 1,8 Sekunden waren. Ein einzelner Nutzer erhielt dabei mehr als 1 400 Token pro Sekunde gegenüber etwa 535 Token bei der Konkurrenz. Beim Modell DeepSeek R1 zeigte sich der Unterschied bei der gesamten Antwortzeit am deutlichsten: Konkret waren es 1,65 Sekunden gegenüber knapp sechs Sekunden. Beim Kimi-Modell, dem größten der getesteten Modelle, lieferte der Jalapeño-Chip eine etwa 1,5-mal höhere Leistung pro Watt und antwortete 3,4-mal schneller. Bei internen Tests mit den eigenen fortschrittlichen Modellen vergrößerte sich der Abstand nach Angaben des Unternehmens noch weiter, was darauf hindeutet, dass sich diese Architektur umso mehr auszahlt, je anspruchsvoller die darauf ausgeführte Aufgabe ist.
Ein schnellerer und sparsamerer Chip
Der Betrieb eines Sprachmodells erfolgt in Phasen, die völlig unterschiedliche Anforderungen an die Hardware stellen. Die Verarbeitung der eingegebenen Anfrage erfordert viel Rechenleistung, während die eigentliche Generierung der Antwort Token für Token eher durch die Speicherbandbreite begrenzt wird. Hinzu kommt die Zeit, die durch das Verschieben der Daten zwischen Kernen und Chips verloren geht, weil ein Teil der Recheneinheiten lediglich wartet. Ein System, das in einer Phase herausragt, verliert seinen Vorteil daher häufig durch das Warten auf Daten.
OpenAI entwickelte deshalb den Chip, den Speicher, das Netzwerk, die Software und das gesamte Rack als eine Einheit und bemühte sich darum, die Daten so wenig wie möglich zu verschieben. Der Zustand des Modells einschließlich des Pufferspeichers für die noch entstehende Antwort kann stabil platziert und lokal vorgehalten werden. Das System aktiviert dann für jede Phase genau die Kombination aus Rechenleistung, Speicher und Netzwerk, die diese Phase benötigt. Das Netzwerk ist ein direkter Bestandteil des Designs und nicht bloß eine Ergänzung und groß genug, damit die gesamte Aufgabe in einem einzigen verbundenen System Platz findet. Das Ergebnis soll ein universeller Beschleuniger sein, der beide Phasen bewältigt und auch mit Änderungen ihres Verhältnisses während des Betriebs zurechtkommt, was bei Agenten ständig geschieht.
Da der Chip sowohl den Massenbetrieb als auch geschwindigkeitskritische Aufgaben bewältigt, kann OpenAI seinen Kunden die Wahl bieten, ob sie eine Konfiguration für niedrigere Kosten oder für schnellere Antworten wünschen.
KI bewältigte den Entwurf in neun Monaten
Vom ersten Entwurf bis zur Übergabe an den taiwanischen Hersteller TSMC vergingen neun Monate, was für einen neuen Chip eine außergewöhnlich kurze Zeit ist. OpenAI räumt ein, dass dabei seine eigenen Modelle geholfen haben. Diese erprobten verschiedene Lösungen, verkürzten die Prozesse zwischen Entwurf, Messung und Verifizierung und halfen auch bei der Optimierung der Rechenschaltungen. Dadurch ließ sich mehr Rechenleistung in den Chip integrieren, als dies auf herkömmliche Weise in dieser Zeit möglich gewesen wäre.
Das Unternehmen konzipierte den Chip zugleich so, dass er von künstlicher Intelligenz programmiert werden kann. Ein Ingenieur beschreibt die Aufgabe mithilfe lokaler Tensoren, expliziter Kommunikation und vorhersehbarer Synchronisierung. Das Modell kümmert sich anschließend darum, wie die Aufgabe im gesamten System verteilt und geplant werden soll. Mithilfe des Tools Codex und des Modells GPT-Astra optimierte das Team innerhalb von zwei Monaten drei offene Modelle, die ursprünglich überhaupt nicht vorgesehen waren, auf hohe Leistung. Bei ausgewählten Blöcken des Modells GPT-OSS liefen die von künstlicher Intelligenz geschriebenen Implementierungen 1,5- bis 1,8-mal schneller als die Versionen menschlicher Experten. Dies betrifft jedoch nur ausgewählte Teile und nicht das gesamte Modell.
Wann Jalapeño zum Einsatz kommt
OpenAI plant, den Chip bis Ende des Jahres in seiner Recheninfrastruktur einzusetzen. Richard Ho stellte jedoch klar, dass es sich in diesem Jahr um sehr geringe Stückzahlen handeln werde und eine umfangreichere Einführung erst im kommenden Jahr erfolge. Die zweite Generation befindet sich bereits in einer fortgeschrittenen Entwicklungsphase, und eine dritte zeichnet sich ab. Das Unternehmen schließt derzeit die Qualifizierung für die Produktion ab, optimiert die Software und überprüft die Leistung anhand weiterer Modelle.
Konkurrenz für Nvidia
Nvidia verfügt bei den fortschrittlichsten Chips für künstliche Intelligenz über eine nahezu monopolartige Stellung, doch die Welle eigener Prozessoren großer Technologieunternehmen schwächt dieses Monopol nach Ansicht von Analysten. Adrien Sanchez von der Yole Group erklärte gegenüber CNBC, Jalapeño beweise, dass von Rechenzentrumsbetreibern entwickelte Chips bei der Energieeffizienz im Modellbetrieb mit Nvidias Karten der Blackwell-Generation gleichziehen oder diese übertreffen können. Nvidia stelle zwar weiterhin den Großteil der Rechenleistung für künstliche Intelligenz bereit, und seine Kunden seien an die Softwareplattform CUDA gebunden. Der neue Chip von OpenAI zielt jedoch auf Nvidias Margen beim Betrieb von Modellen ab, also auf den Teil des Marktes, der derzeit am schnellsten wächst.
Analysten weisen zugleich auf einen Schwachpunkt hin. Jalapeño übertraf Systeme der Blackwell-Generation beim Verhältnis von Leistung zu Watt in fast allen getesteten Szenarien, doch ein Vergleich mit Nvidias neuerer Plattform wäre fairer. Darauf wies auch die Website TechCrunch hin, der zufolge die Konkurrenz bis zur vollständigen Einführung des neuen Chips bereits weiter vorangeschritten sein könnte. Nvidia äußerte sich nicht zu den Ergebnissen.
Für OpenAI bleibt der Preis das wichtigste Argument. Als das Unternehmen den Chip gemeinsam mit Broadcom vorstellte, sprach es bei den ersten Mustern von einer Senkung der Kosten für den Modellbetrieb um etwa die Hälfte im Vergleich zu herkömmlichen Grafikprozessoren für künstliche Intelligenz. Laut den Analysten, mit denen CNBC sprach, kann Jalapeño Nvidia gerade in diesem Bereich unter Druck setzen und OpenAIs Abhängigkeit von dessen Hardware zumindest bei einem Teil der Aufgaben verringern.
