Jedes große Sprachmodell von OpenAI, Anthropic oder Google zahlt denselben Preis. Je länger die Eingabe, desto mehr Rechenaufwand ist nötig. Nicht doppelt, sondern viermal so viel. Das gilt seit 2017, als Transformer das Feld eroberten. Und genau hier setzt das Startup Subquadratic mit seinem ersten Modell SubQ an.
Das Unternehmen trat mit einer Behauptung aus dem Schatten, die ein Teil der Forschungsgemeinschaft mit aufrichtiger Neugier und ein anderer mit offener Skepsis aufnahm: Sein Modell SubQ 1M-Preview sei das erste große Sprachmodell, das auf einer vollständig subquadratischen Architektur basiert, bei der die Rechenkosten linear mit der Kontextlänge steigen. Bei 12 Millionen Token bedeutet das nach Angaben des Unternehmens eine nahezu tausendfache Verringerung des Rechenaufwands für die Attention gegenüber anderen Spitzenmodellen.
Was bedeutet quadratische Skalierung?
Im normalen Betrieb wird jedes Token im Text mit jedem anderen Token verglichen. Verdoppelt man die Länge der Eingabe? Dann vervierfachen sich die Kosten nicht nur im übertragenen Sinne, sondern tatsächlich. Dieser Mechanismus heißt Attention (englisch attention) und bildet die Grundlage aller Transformer-Modelle.
Die Branche kämpft seit Jahren damit. Entwickler bauen ganze Stapel von Behelfslösungen um die Modelle herum: RAG-Systeme rufen nur einen kleinen Teil der relevanten Daten ab, weil es schlicht nicht möglich ist, einem Modell den gesamten Datenkorpus zu übermitteln. Es entstehen Strategien zur Aufteilung von Text in kleinere Abschnitte, Multi-Agenten-Steuerungen und Prompting-Techniken. „Früher habe ich Prompts, Suchsysteme und bedingte Logik manuell optimiert und Arbeitsabläufe miteinander verknüpft. Das ist eine Verschwendung menschlicher Intelligenz und schränkt zugleich die Qualität der Ergebnisse ein.“ Das sagte Alexander Whedon, der technische Leiter von Subquadratic.
Die Standardgrenze für heute verfügbare Modelle liegt bei 128.000 Token, führende Cloud-Modelle wie Claude Sonnet 4.7 oder Gemini 3.1 Pro erreichen bis zu eine Million. SubQ spricht von 12 Millionen.
Die SSA-Technologie überspringt Berechnungen, die keine Rolle spielen
Die Technologie hinter SubQ heißt SSA, eine Abkürzung für Subquadratic Sparse Attention, frei übersetzt als dünn besetzte Attention mit subquadratischer Skalierung. Das Prinzip ist einfach zu beschreiben, aber schwer umzusetzen: Statt jedes Token mit jedem anderen Token zu vergleichen, entscheidet das Modell selbst, welche Vergleiche sich lohnen. Und diese Entscheidung hängt vom Inhalt ab, nicht von einer festgelegten Position im Text.
Das Ergebnis? Nach den eigenen Zahlen des Unternehmens erreicht SSA auf einer B200-GPU eine 7,2-fache Beschleunigung der Prefill-Phase gegenüber standardmäßiger Attention bei 128.000 Token. Hinzu kommen eine 13,2-fache Beschleunigung bei 256.000 Token, eine 23-fache bei 512.000 Token und eine 52,2-fache bei 1 Million Token. Je länger der Kontext, desto größer der Vorteil. Genau diese Umkehr präsentiert Subquadratic als Grundlage seines Ansatzes.
Das Unternehmen trainierte das Modell in drei Phasen: Vortraining, überwachtes Fein-Tuning und eine Phase des Feedback-Lernens, die speziell auf Fehler bei der Arbeit mit langen Kontexten ausgerichtet war. Dieser letzte Teil ist wichtig. Wie der technische Blog des Unternehmens beschreibt, neigen Modelle dazu, Antworten aus dem näheren Kontext abzuleiten, weil dieser leichter zu verwenden ist, selbst wenn der entscheidende Beleg viel weiter vorne im Text steht. SSA unterdrückt diese Tendenz.
Die Benchmarks sehen großartig aus, aber ...
Auf dem Papier konkurriert SubQ mit Modellen von Organisationen, die Milliarden ausgeben. Bei SWE-Bench Verified, einem Test mit echten Softwareaufgaben von GitHub, erreichte SubQ 81,8 % gegenüber 80,8 % bei Opus 4.6 und 80,0 % bei DeepSeek 4.0 Pro. Bei RULER mit 128.000 Token erzielte SubQ 95 %, Opus 4.6 kam auf 94,8 %. Bei MRCR v2, einem anspruchsvollen Test für mehrstufige Suche über einen langen Kontext hinweg, erzielte SubQ 65,9 % gegenüber 26,3 % bei Gemini 3.1 Pro und 32,2 % bei Claude Opus 4.7.
Doch die Auswahl dieser drei Tests ist kein Zufall. Sie alle betonen genau das, wofür SubQ entwickelt wurde: lange Kontexte und Programmierung. Umfassendere Bewertungen des allgemeinen Schlussfolgerungsvermögens, der Mathematik, der mehrsprachigen Leistung oder der Sicherheit hat das Unternehmen nicht veröffentlicht. Für eine vollständige Übersicht über das Modell sei es „noch zu früh“. Hinzu kommt: Zwischen dem Forschungsergebnis von 83 Punkten bei MRCR v2 und der verifizierten Produktionsversion mit 65,9 Punkten klafft eine Lücke von 17 Punkten, die unerklärt bleibt. Aufgrund der hohen Inferenzkosten wurde jeder Benchmark nur einmal durchgeführt, ohne statistische Konfidenzintervalle.
Das Unternehmen behauptet außerdem, bei RULER 128K für 8 Dollar eine Genauigkeit von 95 % erreicht zu haben, während Claude Opus für eine vergleichbare Leistung etwa 2.600 Dollar kostete. Ohne eine veröffentlichte API-Preisliste lässt sich das bislang nicht überprüfen.
Die Forschungsgemeinschaft ist verunsichert
Wenige Stunden nach der Ankündigung explodierten die Diskussionen. Der Kommentator Dan McAteer fasste es in einem Satz zusammen: „SubQ ist entweder der größte Durchbruch seit dem Transformer oder das Theranos der KI.“ Der Vergleich mit dem berühmten Theranos-Betrug mag übertrieben sein, bringt aber die angespannte Stimmung auf den Punkt.
Der erfahrene Ingenieur Will Depue schrieb, SubQ sei „mit ziemlicher Sicherheit Sparse Attention, die auf Basis von Kimi oder DeepSeek feinabgestimmt wurde“, das Unternehmen habe also lediglich ein bestehendes Open-Source-Modell feinabgestimmt. Whedon bestätigte dies: Das Unternehmen nutzt tatsächlich die Gewichte von Open-Source-Modellen als Ausgangspunkt, und zwar aufgrund seiner begrenzten Finanzierung und seiner aktuellen Entwicklungsphase. Depue verschärfte daraufhin seine Kritik und behauptete, die Angaben zur O(n)-Skalierung und die genannten Beschleunigungswerte würden „einfach nicht zusammenpassen“. Er bezeichnete die Kommunikation als „extrem schlecht dargestellt oder schlicht unwahr“.
Andere verweisen auf eine grundsätzliche Frage: Wenn SubQ den Rechenaufwand tatsächlich um das Tausendfache reduziert und weniger als 5 % des Preises von Opus kostet, warum ist der Zugang dann auf einen Early Access beschränkt? Der Entwickler Stepan Goncharov bezeichnete die Benchmarks als „sehr gezielt ausgewählt“, ein anderer Kommentator beschrieb sie als „verdächtig perfekt“.
Der Forscher John Rysana wies den Vergleich mit Theranos dagegen als übertrieben zurück. Er schrieb, es handle sich um „gut umgesetzte subquadratische Attention, was für die Arbeit mit langen Kontexten sehr bedeutsam ist“, und die Wahrscheinlichkeit, dass es sich um Betrug handle, sei seiner Ansicht nach „extrem gering“.
Magic.dev versprach das ebenfalls. Dann wurde es still.
Der wohl aufschlussreichste Kontext für die Bewertung von SubQ stammt nicht aus Vergleichstabellen, sondern aus der jüngeren Vergangenheit. Das Unternehmen Magic.dev kündigte im August 2024 ein Modell mit einem Kontextfenster von 100 Millionen Token und einer angeblich 1.000-fachen Effizienzsteigerung an. Auf dieser Grundlage sammelte es rund 500 Millionen Dollar ein. Anfang 2026 gibt es keinen öffentlichen Beleg dafür, dass LTM-2-mini tatsächlich von irgendjemandem genutzt wird.
Die Parallelen sind auffällig. Beide Unternehmen behaupteten, über ein riesiges Kontextfenster zu verfügen. Beide erwähnten eine etwa tausendfache Effizienzsteigerung. Beide zielten primär auf Softwareentwicklung ab. Beide führten ihr Produkt mit beschränktem externem Zugang ein.
Und das ist nur ein Kapitel einer längeren Geschichte. Kimi Linear, DeepSeek Sparse Attention, Mamba und RWKV versprachen alle subquadratische Skalierung. Sie alle stießen auf dasselbe Problem: Architekturen, die theoretisch linear sind, bleiben in der Praxis bei realen Aufgaben in großem Maßstab hinter quadratischer Attention zurück. Oder sie endeten als Hybridmodelle, die subquadratische Schichten mit standardmäßiger Attention kombinieren und dadurch die reinen Skalierungsvorteile verlieren.
Subquadratic ist sich dieses Erbes sehr wohl bewusst. Der technische Blog des Unternehmens analysiert jeden früheren Ansatz einzeln und argumentiert, warum SSA dessen Schwächen umgeht. Ob das tatsächlich der Fall ist, kann nur eine unabhängige Überprüfung bestätigen.
Team, Geld und offene Fragen
Hinter dem Unternehmen stehen CEO Justin Dangel, ein fünffacher Gründer mit Erfahrung in Gesundheitstechnologie und Konsumgütern, sowie CTO Alexander Whedon, früher Softwareingenieur bei Meta und Leiter für generative KI bei TribeAI. Zum Team gehören 11 promovierte Fachleute mit Wurzeln bei Meta, Google, Oxford, Cambridge, ByteDance und Adobe.
Subquadratic sammelte in einer Finanzierungsrunde 29 Millionen Dollar ein. Zu den Investoren gehören Tinder-Mitgründer Justin Mateen, der ehemalige Partner des SoftBank Vision Fund Javier Villamizar sowie frühe Investoren von Anthropic, OpenAI, Stripe und Brex. Die Bewertung des Unternehmens liegt laut The New Stack bei rund 500 Millionen Dollar für die Seed-Phase, ohne veröffentlichte Forschung, ohne begutachteten wissenschaftlichen Artikel und ohne ausgewiesene Umsätze.
Das Unternehmen plant keine Open-Source-Veröffentlichung der Modellgewichte, möchte Unternehmen jedoch Werkzeuge für ein eigenes zusätzliches Training anbieten. Bis Ende 2026 strebt es ein Kontextfenster von 50 Millionen Token an.
Whedon reagierte schnell auf die technische Kritik und veröffentlichte einen ausführlichen technischen Blogbeitrag. Das deutet auf ein Team hin, das versteht, dass es nicht ausreicht, Ergebnisse zu beschreiben, sondern dass sie belegt werden müssen. Der technische Bericht ist jedoch weiterhin als „vorläufig“ gekennzeichnet.
