OpenAI hat eine neue Servicestufe namens Ultrafast vorgestellt, bei der das Modell GPT-5.6 Sol bis zu vierzehnmal schneller läuft als bei der Standardverarbeitung. Das Unternehmen verspricht eine Geschwindigkeit von bis zu 750 Ausgabe-Token pro Sekunde und setzt bei dieser Technologie vollständig auf Hardware von Cerebras. Bislang handelt es sich um einen eingeschränkten Vorabzugang für eine ausgewählte Gruppe von API-Kunden und nicht um eine Funktion, die jeder direkt in der ChatGPT-Oberfläche aktivieren könnte.
Bislang galt ein unangenehmer Kompromiss. Wenn ein Unternehmen sofort eine Antwort benötigte, musste es auf ein kleineres oder eng spezialisiertes Modell zurückgreifen. Dieses war zwar schnell, reichte aber bei komplexeren Problemen, bei der Arbeit mit mehreren Werkzeugen oder bei längeren Entscheidungsketten häufig nicht aus. Ein leistungsfähigeres Modell wiederum dachte so lange nach, dass es sich für eine Live-Interaktion nicht eignete. Ultrafast soll diesen Kompromiss beseitigen. OpenAI beschreibt es mit dem Motto „mehr nützliche Arbeit pro Sekunde“ und zielt damit auf Situationen ab, in denen das Ergebnis innerhalb von Sekunden statt Minuten benötigt wird.
Für wen ist Ultrafast sinnvoll
OpenAI hat mehrere Einsatzmöglichkeiten hervorgehoben, bei denen das Unternehmen bereits erste Ergebnisse sieht. Beim Ausfall eines kritischen Systems kann das Modell Betriebsprotokolle lesen, kürzlich vorgenommene Codeänderungen sowie Meldungen von Technikern prüfen und noch während der laufenden Störung nach der wahrscheinlichen Ursache suchen. Im Finanzsektor geht es um die Analyse von Marktsignalen, die Bewertung von Transaktionen und die Erkennung verdächtiger Aktivitäten unter sich ständig verändernden Bedingungen.
Ein großes Thema ist der Sprach- und Kundensupport. Wenn ein Assistent Daten in drei Systemen abrufen, Bedingungen überprüfen und erst dann antworten muss, summiert sich jede Verzögerung während des Gesprächs, was der Kunde sofort bemerkt. Ähnliches gilt für den Onlinehandel, wo das Modell Fragen zu Produkten beantwortet, Lagerbestände prüft und Zahlungsprobleme löst, bevor der Käufer die Seite verlässt und einen gefüllten Warenkorb zurücklässt.
Forschungsteams bei OpenAI führen üblicherweise über Nacht eine Reihe von Experimenten durch und prüfen die Ergebnisse erst am Morgen. Dank der höheren Geschwindigkeit verkürzt sich dieser Entwicklungszyklus so stark, dass sich innerhalb eines einzigen Arbeitstags mehrere unterschiedliche Varianten nacheinander testen lassen.
Zusammenarbeit mit Cerebras
Die Ultrafast-Technologie basiert auf der fortlaufenden Zusammenarbeit von OpenAI mit Cerebras, einem Hersteller sogenannter Wafer-Scale-Prozessoren. Vereinfacht ausgedrückt handelt es sich dabei um außergewöhnlich große Chips, die speziell für Berechnungen im Bereich der künstlichen Intelligenz entwickelt wurden. Anstatt eine Rechenaufgabe auf eine große Zahl kleinerer Einheiten zu verteilen, wird so viel Arbeit wie möglich an einem Ort gebündelt.
Dieser Ansatz eignet sich besonders für große Sprachmodelle. Jedes weitere Token baut auf dem vorherigen auf, sodass die resultierende Geschwindigkeit entscheidend davon abhängt, wie kurz die Pause zwischen den einzelnen Schritten ist. Sobald sich diese Verzögerung verkürzt, trifft der Text nicht mehr in einzelnen Blöcken ein, sondern beginnt kontinuierlich zu fließen.
Ein wesentlicher Punkt wird dabei leicht übersehen. Die veröffentlichte Zahl beschreibt die Geschwindigkeit der Ausgabegenerierung und nicht die Zeit, bis die vollständige Antwort eintrifft. Dabei spielen weiterhin die Netzwerkgeschwindigkeit, die Länge der Eingabe, Aufrufe externer Werkzeuge sowie Wartezeiten auf umliegende Systeme eine Rolle. Eine Unternehmensanwendung wird daher nicht automatisch schneller, nur weil sie auf einen anderen Modus umgestellt wird.
Preis und Verfügbarkeit
Bislang fehlen eine offizielle Preisliste, das Abrechnungsmodell und die Nutzungslimits. Es ist nicht öffentlich bekannt, unter welchen Bedingungen das Unternehmen die genannten 750 Token pro Sekunde erreicht oder wie sich die Geschwindigkeit bei längeren Anfragen und der gleichzeitigen Nutzung durch mehrere Benutzer verhält. Einen Starttermin für Europa hat OpenAI bislang nicht bekannt gegeben. Bei den Geschwindigkeitsstufen der API weist das Unternehmen zudem darauf hin, dass die Verfügbarkeit in den einzelnen Ländern von den jeweiligen gesetzlichen Rahmenbedingungen abhängt. Derzeit hat daher nur eine kleine Gruppe von Unternehmen Zugang, die das Modell Sol in diesem Modus für Programmierung, Handel, Finanzanalysen und Kundensupport testen. Interessenten können sich über ein Formular anmelden und darauf warten, dass OpenAI weitere Kapazitäten freigibt.
