Wenn heute über die Beschleunigung der Antworten großer Sprachmodelle gesprochen wird, geht es meist um neue Hardware. Cerebras hat mit seinen speziell für diese Aufgabe entwickelten Chips im Mai einen Börsengang beantragt, und die Märkte reagieren positiv darauf. Das französische Startup Kog verfolgt einen anderen Ansatz. Es behauptet, dass in den Grafikkarten, die Rechenzentren längst besitzen, ein enormer Teil der Leistung ungenutzt bleibt, der sich rein softwareseitig erschließen lässt. Das Unternehmen verspricht eine bis zu dreißigmal schnellere Generierung von Antworten. Seine Demo, die sofort die Aufmerksamkeit der Community auf sich zog, generierte bei einer einzigen Anfrage 3000 Token pro Sekunde. Zum Vergleich: ChatGPT schafft ungefähr hundert.
Kog machte im Mai mit einer technischen Demonstration auf sich aufmerksam. Ziel war es zu zeigen, dass sich die blitzschnelle Generierung von Antworten für einen einzelnen Nutzer auch auf standardmäßigen Serverkarten bewältigen lässt, die Unternehmen üblicherweise einsetzen. Konkret arbeitete das Startup mit AMD-MI300X- und Nvidia-H200-Chips.
Ein Teil der Community war zwar enttäuscht, dass sich die Ergebnisse nicht auf Grafikkarten in Notebooks bezogen, andere erkannten jedoch schnell das Potenzial. Geschwindigkeit und Betriebskosten von Modellen begrenzen heute praktisch alle Unternehmen, die KI im Produktivbetrieb einsetzen möchten. Die Möglichkeit, zusätzliche Leistung aus bereits gekaufter Hardware herauszuholen, zog daher enorme Aufmerksamkeit auf sich. „Wir haben zweihundert Geschäftsanfragen erhalten“, sagte Firmenchef Gaël Delalleau gegenüber TechCrunch.
Eine neue Sichtweise
Die Grundlage bildet ein Ansatz, den Kog als Hardware-Software-Co-Design bezeichnet. Ziel ist es, die Recheneinheiten der Karte kontinuierlich auszulasten und Leerlaufzeiten zu vermeiden, in denen der Chip lediglich auf die Übertragung von Daten zwischen den einzelnen Komponenten wartet.
Das Startup Kog ersetzte daher die standardmäßige Kommunikationsschicht RCCL durch seine eigene Bibliothek Kog Communication Library (KCCL). Diese sorgt dafür, dass die Leistung bei der Verteilung des Modells auf mehrere High-End-Karten linear skaliert und nicht durch Kommunikations-Overhead verloren geht. Der zweite Baustein ist die Architektur LaneFormer. Sie verschiebt die Kommunikation zwischen den Karten um eine Schicht, sodass die Berechnung ohne Unterbrechung fortgesetzt wird und die Textgenerierung ohne eine einzige Synchronisationspause erfolgt.
Kog optimiert zudem die Speichernutzung auf Grundlage der physischen Architektur des Chips, sodass jeder Zugriff genau dorthin geleitet wird, wo er hingehört. Während andere Tools die Speicheraufteilung lediglich schätzen, kennt Kog sie exakt. Ein praktisches Detail, das Ingenieure besonders schätzen werden, ist die einfache Integration: Die Engine kann als direkter Ersatz für gängige LLM eingesetzt werden, und zwar ganz ohne Änderungen am Code.
Das Unternehmen stützt die präsentierten Daten auf einen direkten Vergleich mit LLM und TensorRT-LLM auf derselben Hardware und mit demselben Modell. Auf AMD-Instinct-Karten erreichte seine Engine eine bis zu 3,5-mal höhere Geschwindigkeit. Beim Modell Llama 3 (8B) gibt das Unternehmen eine Leistung von 1368 Token pro Sekunde an.
Jede Sekunde kostet Geld
Delalleau erwartet, dass die Softwareentwicklung der erste große Absatzmarkt sein wird. Jeder, der mit autonomen Programmieragenten arbeitet, kennt das: Der Nutzer stellt eine Aufgabe und wartet dann, manchmal sogar stundenlang. Dass Menschen bereit sind, für Geschwindigkeit zu bezahlen, ist auch Anthropic bewusst, das für den Fast Mode bei Claude-Modellen ein Vielfaches des üblichen Preises verlangt.
Kog richtet sich genau an Kunden, für die diese Wartezeit kritisch ist, weil ihre tägliche Arbeit von reibungslosen KI-Prozessen abhängt. Das Startup arbeitet bereits mit Partnern zusammen, die Tools zur Generierung von Spielen und Anwendungen aus einer einzigen Eingabe entwickeln, denn in diesem Bereich schlägt sich eine höhere Geschwindigkeit unmittelbar in direkten Einnahmen nieder. Dennoch räumt das Unternehmen ein, dass der Markt noch nicht vollständig bereit ist. Die Geschäftsgespräche haben gezeigt, dass die Kunden weder die Kapazität noch den Wunsch haben, kleine spezialisierte Modelle zu optimieren. Seit seinem Start konzentriert Kog daher sämtliche Anstrengungen auf die Beschleunigung großer, komplexer Modelle.
Und genau darin liegt seine größte Herausforderung. Die beeindruckende Demo mit 3000 Token pro Sekunde lief nämlich auf dem kleinen Modell LaneFormer 2B mit zwei Milliarden Parametern, das das Startup selbst entwickelt und kürzlich als Open Source veröffentlicht hat. Von diesem Erfolg bis zur versprochenen dreißigfachen Beschleunigung vollwertiger großer Modelle ist es jedoch noch ein weiter Weg. Die Anzahl der Parameter stellt für eine schnelle Generierung von Antworten nämlich das mit Abstand größte Hindernis dar.
Delalleau hält dennoch daran fest, dass derselbe Ansatz auch bei großen Modellen funktionieren wird. Seiner Ansicht nach verfügen Grafikkarten über enormes Potenzial, und die Behauptung, sie seien für die Textgenerierung ungeeignet, sei ein Irrtum. Neuere Chips bieten nämlich eine immer höhere Speicherbandbreite, die von aktueller Software nicht vollständig genutzt werden kann.
Monatelange Arbeit an jedem Chiptyp
Der Nachteil einer derart tiefgreifenden Optimierung besteht darin, dass sie sich nicht beschleunigen lässt. Für jede neue Grafikkarte muss das Team mehrere Wochen bis Monate intensiver Forschung aufwenden. Für ein Startup mit nur elf Mitarbeitern bedeutet dies eine erhebliche Einschränkung bei der Anzahl der verschiedenen Chips, die Kog unterstützen kann.
Künftig möchte das Unternehmen seine Methodik auf Prozesse übertragen, die von KI-Agenten gesteuert werden und die Integration weiterer Chips und Modelle wesentlich schneller bewältigen könnten. Für Europa, das versucht, eigene Unabhängigkeit sowohl bei der Hardware als auch bei den Modellen aufzubauen, ist der Erfolg des Startups ein Schlüsselelement. Kog ist zudem nicht allein. Auch das französische Projekt ZML hat Software veröffentlicht, die das Nvidia-CUDA-Ökosystem umgeht und eine schnelle Generierung auf konkurrierenden Chips ermöglicht.
