Koreanische KI auf dem Weg zu den ganz Großen

In den letzten Tagen gab es im Bereich der künstlichen Intelligenz eine interessante Neuigkeit aus Südkorea. Das Startup Motif Technologies hat ein Modell namens Motif-2-12.7B-Reasoning veröffentlicht, das nur 12,7 Milliarden Parameter besitzt, in Tests aber dennoch hervorragende Ergebnisse erzielte. Laut dem unabhängigen Labor Artificial Analysis erreichte dieses Modell 45 Punkte im Intelligence Index und wurde damit zum besten Modell aus Korea. Es übertraf sogar einige größere Modelle wie das reguläre GPT-5.1 von OpenAI. Dieses offene Modell mit frei verfügbaren Gewichten wurde für logisches Schlussfolgern (Reasoning) entwickelt und zeigt, dass auch kleinere Teams mit den großen Akteuren aus den USA und China konkurrieren können.

Motif Technologies mit Sitz in Südkorea konzentriert sich auf die Entwicklung von Modellen für Unternehmen. Das Modell wurde mit Daten im Umfang von 187 Milliarden Token trainiert, darunter koreanische Patente und Forschungsberichte. Das Training dauerte nur drei Monate, und das Modell erreichte im koreanischen Benchmark KMMLU einen Wert von 64,74. Das ist in einigen Bereichen besser als GPT-4. Das Unternehmen veröffentlichte außerdem ein Whitepaper auf arxiv.org, in dem es sein Vorgehen beschreibt, darunter die hybride Parallelisierung und die Speicheroptimierung auf Nvidia-H100-Hardware.

Was Motif Technologies herausgefunden hat

1.) Eine der wichtigsten Erkenntnisse von Motif Technologies ist, dass synthetische Daten für logisches Schlussfolgern nur dann hilfreich sind, wenn ihre Struktur dem Stil des Zielmodells entspricht. In Tests stellte das Unternehmen fest, dass die Leistung beim Programmieren davon abhängt, welches „Lehrermodell“ während der Feinabstimmung (Fine-Tuning) die Reasoning-Spuren erstellt hat. Wenn die Daten hinsichtlich Format, Schrittlänge oder Detailgrad nicht passen, können sie die Leistung sogar verringern, obwohl sie hochwertig erscheinen.

Für Unternehmen bedeutet das, dass es nicht ausreicht, einfach große Mengen an Daten mit großen Modellen zu generieren. Es muss überprüft werden, ob die Daten der gewünschten Ausgabe im realen Einsatz entsprechen. Motif betont, dass interne Testschleifen wichtiger sind als das Kopieren externer Datensätze.

2.) Motif trainierte sein Modell mit einem Kontext von 64.000 Token, was nicht nur eine einfache Anpassung des Tokenizers oder das Speichern von Checkpoints ist. Das Unternehmen setzte hybride Parallelisierung, eine sorgfältige Datenaufteilung und aggressives Speichern von Aktivierungen ein, um dies auf handelsüblicher Hardware zu bewältigen. Dadurch wurde ein stabiles Training ohne größere Probleme ermöglicht.

Für Unternehmen ist dies eine Warnung: Die Fähigkeit, lange Kontexte zu verarbeiten, kann nicht nachträglich hinzugefügt werden. Wenn Ihre Arbeit Suchvorgänge oder agentenbasierte Abläufe umfasst, muss die Kontextlänge von Anfang an Teil des Plans sein. Andernfalls drohen kostspieliges erneutes Training oder instabile Anpassungen.

3.) Bei der Feinabstimmung durch bestärkendes Lernen (RLFT) betont Motif die Filterung nach Schwierigkeitsgrad – beibehalten werden Aufgaben, deren Erfolgsquote in einen bestimmten Bereich fällt. Statt das belohnungsbasierte Training blind zu skalieren, werden Trajektorien über verschiedene Policies hinweg wiederverwendet und die Clipping-Bereiche für eine bessere Stabilität erweitert.

Dies löst typische Probleme von Unternehmen, etwa Leistungseinbrüche oder Stabilitätsverluste außerhalb von Tests. Motif zeigt, dass bestärkendes Lernen eine systemische Angelegenheit und nicht nur eine Frage des Belohnungsmodells ist. Ohne Filterung, Wiederverwendung und eine ausgewogene Verteilung der Aufgaben kann dieses Verfahren ansonsten gut vorbereitete Modelle destabilisieren.

4.) Motif verwendet Optimierungen auf Kernel-Ebene, um die Speicherbelastung während des bestärkenden Lernens zu reduzieren. Techniken wie die Optimierung der Verlustfunktion ermöglichen fortgeschrittene Trainingsphasen. In Unternehmen, in denen Speicher häufig ein Problem darstellt, unterstreicht dies die Notwendigkeit, in Low-Level-Engineering zu investieren.

Das Unternehmen betont außerdem die Qualität und Menge der Daten – es kuratierte 187 Milliarden Token koreanischer Daten, darunter spezialisierte Quellen. Es entwickelte einzigartige vortrainierte Modelle und Instruktionsmodelle für komplexe Sätze und Konversationen. Seine offene Strategie umfasst die Veröffentlichung von Modellen wie Llama-3-Motif-102B auf Hugging Face, was das Ökosystem stärkt. Darüber hinaus bietet es den Dienst Personal AI zur einfachen Anpassung von Modellen mit minimalen Datenmengen an, einschließlich Vorlagen für Konversationen, Bildgenerierung oder Code.

Schwerpunkt auf Lokalisierung und Zugänglichkeit

Motif Technologies zeigt, dass Modelle, die an eine bestimmte Sprache wie Koreanisch angepasst sind, globale Giganten bei lokalen Aufgaben übertreffen können. Dies gilt auch für andere Sprachen wie Japanisch, bei denen globale Modelle häufig an sprachlichen Nuancen scheitern. Das Unternehmen bietet Modelle wie Motif-102B auf Hugging Face zum einfachen Testen an, die mit eigenen Daten für einen internen Chatbot angepasst werden können.

Dieser Ansatz macht KI für kleinere Unternehmen zugänglicher, ohne dass dafür eine enorme Infrastruktur erforderlich ist. Motif-2-12.7B-Reasoning kann dank eines disziplinierten Trainingsdesigns und nicht nur aufgrund seiner Größe mit größeren Modellen konkurrieren.