OpenAI stellt GPT-OSS vor: Das erste offene KI-Modell seit GPT-2

OpenAI, das für seine fortschrittlichen Modelle wie GPT-4o oder o3 bekannte Unternehmen, öffnet nun die Tür zu etwas wirklich Großem. Es hat zwei neue Open-Weight-Modelle vorgestellt: gpt-oss-120b und gpt-oss-20b. Diese Modelle sind nicht einfach nur weitere Code-Bausteine – sie wurden entwickelt, um die Grenzen dessen zu erweitern, was offene Modelle in den Bereichen Schlussfolgerung, Werkzeugnutzung und effiziente Bereitstellung leisten können. Und das Beste daran? Sie sind unter der flexiblen Apache-2.0-Lizenz verfügbar, sodass sie jeder herunterladen, anpassen und verwenden kann. Sehen wir uns das Schritt für Schritt genauer an.

Was sind gpt-oss-Modelle und warum sind sie wichtig?

Diese Modelle wurden mit einer Kombination aus bestärkendem Lernen (Reinforcement Learning) und Techniken trainiert, die von den fortschrittlichsten internen Systemen von OpenAI inspiriert sind, darunter o3 und weitere Frontier-Modelle. gpt-oss-120b verfügt insgesamt über 117 Milliarden Parameter, aktiviert jedoch nur 5,1 Milliarden pro Token, was es besonders effizient macht – es läuft auf einer einzigen GPU mit 80 GB. Das kleinere gpt-oss-20b besitzt 21 Milliarden Parameter, von denen 3,6 Milliarden pro Token aktiv sind, und benötigt lediglich 16 GB Arbeitsspeicher. Damit eignet es sich ideal für Edge-Geräte oder lokale Inferenz ohne kostspielige Infrastruktur.

Beide Modelle zeichnen sich bei Aufgaben wie Schlussfolgerungen mittels Gedankenkette (Chain-of-Thought Reasoning), der Nutzung von Werkzeugen wie Websuche oder der Ausführung von Python-Code aus und unterstützen sogar strukturierte Ausgaben (Structured Outputs). Sie sind mit der Responses API von OpenAI kompatibel und ermöglichen es, den Umfang der Schlussfolgerung je nach gewünschter Latenz und Leistung auf niedrig, mittel oder hoch einzustellen. In Benchmarks wie Codeforces, MMLU, HLE, Tau-Bench oder HealthBench übertreffen sie Modelle wie o3-mini und o4-mini oder erreichen ein vergleichbares Niveau, beispielsweise beim wettbewerbsorientierten Programmieren, in Mathematik (AIME 2024 & 2025) oder bei Gesundheitsfragen.

OpenAI arbeitete mit Partnern wie AI Sweden, Orange und Snowflake zusammen, um reale Anwendungen zu testen – vom Hosting vor Ort zur Gewährleistung der Datensicherheit bis hin zum Fine-Tuning mit spezialisierten Datensätzen. Das bedeutet, dass diese Modelle nicht nur theoretischer Natur sind; sie sind bereit für Entwickler, Unternehmen und Regierungen, die KI auf ihrer eigenen Infrastruktur betreiben möchten.

Architektur und Training

Die Modelle basieren auf einer Transformer-Architektur mit Mixture-of-Experts (MoE), wobei gpt-oss-120b über 36 Schichten und 128 Experten verfügt und 4 davon pro Token aktiviert. gpt-oss-20b besitzt 24 Schichten und 32 Experten, von denen ebenfalls 4 aktiv sind. Sie verwenden abwechselnde Aufmerksamkeitsmuster (dicht und lokal begrenzt spärlich), Grouped Multi-Query Attention mit einer Gruppengröße von 8 sowie Rotary Positional Embedding (RoPE) für einen Kontext von bis zu 128.000 Token.

Das Training erfolgte mit einem überwiegend englischsprachigen Textdatensatz, wobei der Schwerpunkt auf MINT, Programmierung und Allgemeinwissen lag. Verwendet wurde der Tokenizer o200k_harmony, den OpenAI ebenfalls als Open Source veröffentlicht hat. Das Post-Training umfasste überwachtes Fine-Tuning und eine RL-Phase, damit die Modelle die OpenAI Model Spec einhalten, einschließlich CoT-Schlussfolgerungen und Werkzeugnutzung. OpenAI betont, dass CoT nicht direkt überwacht wird, was eine bessere Überwachung des Modellverhaltens ermöglicht.

Sicherheit an erster Stelle

Sicherheit ist von entscheidender Bedeutung, insbesondere bei offenen Modellen. OpenAI filterte während des Pre-Trainings schädliche Daten heraus, etwa zu CBRN – chemischen, biologischen, radiologischen und nuklearen Themen – und setzte Deliberative Alignment sowie eine Anweisungshierarchie ein, damit gefährliche Prompts abgelehnt werden. Darüber hinaus testete das Unternehmen eine adversariell feinabgestimmte Version von gpt-oss-120b gemäß dem Preparedness Framework. Die Ergebnisse zeigten, dass selbst nach einer solchen Anpassung keine hohen Risikostufen erreicht werden. Diese Methodik wurde von externen Experten überprüft, und OpenAI stellt Einzelheiten in einem Forschungspapier und einer Modellkarte bereit.

Zur Unterstützung der Community startete OpenAI auf Kaggle eine Red Teaming Challenge mit einem Preisgeld von 500.000 US-Dollar für die Identifizierung neuer Sicherheitsrisiken. Dies zeigt, wie ernst OpenAI offene Modelle nimmt und dass das Unternehmen zu einem sichereren Ökosystem beitragen möchte.

Verfügbarkeit und erste Schritte

Die Modelle können auf Hugging Face heruntergeladen werden und sind zur Steigerung der Effizienz in MXFP4 quantisiert. Sie unterstützen das Harmony-Prompt-Format, und OpenAI hat den Renderer für Python und Rust als Open Source veröffentlicht. Die Modelle sind für Plattformen wie Azure, Hugging Face, vLLM, Ollama, llama.cpp, AWS, Fireworks, Together AI, Baseten, Databricks, Vercel, Cloudflare und OpenRouter optimiert. Auf der Hardwareseite arbeitete OpenAI mit NVIDIA, AMD, Cerebras und Groq zusammen. Microsoft stellt über ONNX Runtime GPU-optimierte Versionen für Windows bereit.

Für alle, die experimentieren möchten, gibt es einen Playground für offene Modelle und einen Leitfaden im Cookbook. OpenAI betont, dass diese Modelle die eigenen API-Modelle für diejenigen ergänzen, die Multimodalität oder integrierte Werkzeuge benötigen.

Nutzerbewertungen: Was sagen die Menschen?

Nun dazu, was tatsächliche Nutzer sagen – basierend auf Kommentaren und Bewertungen aus Foren wie community.openai.com, G2, Slashdot oder The Algorithmic Bridge. Entwickler schätzen beispielsweise, wie gut das Modell bei komplexen Aufgaben wie Programmierung, wissenschaftlichen Problemen oder höherer Mathematik abschneidet – in Benchmarks und praktischen Tests übertrifft es häufig GPT-4. Ein Nutzer auf G2 bezeichnete es dank strukturierter Ausgaben wie JSON und der einfachen Verfügbarkeit über ChatGPT Plus oder die API als einen „bedeutenden Produktivitätsbooster“. Experten würdigen seine Leistung beim logischen Schlussfolgern und bei der kreativen Problemlösung, wodurch es sich ideal für den professionellen und technischen Einsatz eignet.

Auf der anderen Seite konzentrieren sich negative Kommentare auf langsamere Antworten aufgrund der gründlicheren Schlussfolgerungen – einige Nutzer auf community.openai.com beklagen, dass sie ihre Arbeitsabläufe an die längeren Verarbeitungszeiten anpassen müssen. KI-Neulinge erwähnen häufig die steile Lernkurve, da die fortschrittlichen Funktionen zu komplex sein können. Weitere Bedenken betreffen den eingeschränkten Zugang zu Vorschauversionen oder organisatorische Beschränkungen. Ein Rezensent auf Slashdot merkte an, dass man trotz der hohen Leistung auf „größere Komplexität und geringere Geschwindigkeit“ vorbereitet sein müsse, was möglicherweise nicht für jeden geeignet sei.

Insgesamt scheinen die gpt-oss-Modelle als großer Fortschritt wahrgenommen zu werden, allerdings muss ein Gleichgewicht zwischen Leistung und Praxistauglichkeit gefunden werden. OpenAI trägt damit zur Demokratisierung der KI bei und gibt allen die entsprechenden Werkzeuge an die Hand – von einzelnen Entwicklern bis hin zu großen Unternehmen. Was halten Sie davon? Wenn Sie neugierig sind, probieren Sie die Modelle selbst auf Hugging Face aus!