Meta hat Muse Spark Open veröffentlicht, ein Modell mit offenen Gewichten, das Text, Bilder, Audio und Video verarbeitet und Textantworten erzeugt. Entwicklern bietet es eine gemeinsame Schnittstelle für unterschiedliche Eingabearten. Meta richtet das Modell auf Programmierung und längere agentische Aufgaben aus, bei denen es sein Vorgehen fortlaufend überprüfen und korrigieren soll.
Programmieren mit visuellem Feedback
Laut Meta umfasste das Training dateiübergreifendes Refactoring und längere Debugging-Sitzungen. Bei umfangreicheren Aufgaben soll das Modell einzelne Schritte planen, ausführen, die Ergebnisse beobachten und sein weiteres Vorgehen daran ausrichten. Dazu gehört auch die Navigation im Web anhand von Bildern.
Hugging Face demonstrierte das Zusammenspiel von Programmierung und Bildverarbeitung anhand der Erstellung von 3D-Objekten. Dafür verband das Unternehmen eine in llama.cpp laufende, auf zwei Bit quantisierte Variante mit dem Programmieragenten Pi. Dieser lässt das Modell Three.js-Code schreiben, rendert das Ergebnis im Browser und erstellt Bildschirmaufnahmen aus mehreren Blickwinkeln. Dasselbe Modell beurteilt die Bilder; Pi überarbeitet den Code wiederholt anhand dieses Feedbacks. Den Autoren zufolge benötigt die quantisierte Variante mehr Anleitung.
In einer weiteren Demonstration verband Hugging Face das auf Inference Endpoints bereitgestellte Modell mit OpenEnv und Chromium in einer entfernten Sandbox. Zur Auswahl der nächsten Aktion erhält das Modell die bisherigen Aktionen, die Systemanweisung, die URL und einen Screenshot. Auf die Seitenstruktur im DOM oder den HTML-Code hat es in dieser Demonstration keinen Zugriff.
Große Muse-Variante mit einer Million Token Kontext
Muse Spark Open folgt auf das kleine, dichte Modell Muse Glimmer, das Meta im August veröffentlicht hat. Das neue Modell ist die große Variante der Reihe und nutzt eine Mixture-of-Experts-Architektur. Beide Modelle teilen sich Tokenizer und Vokabular; die Chat-Vorlage baut auf Glimmer auf und ergänzt die neuen Modalitäten.
Insgesamt besitzt das Modell ungefähr 816 Milliarden Parameter, von denen pro Token etwa 42 Milliarden aktiviert werden. Jede MoE-Schicht wählt acht von 256 Experten aus. Alle Experten bleiben jedoch im Speicher, sodass die geringere Zahl aktiver Parameter den Speicherbedarf des Gesamtmodells nicht beseitigt.
Das Kontextfenster bei der Inferenz umfasst bis zu eine Million Token; die Konfiguration legt das genaue Maximum auf 1 048 576 Positionen fest. Dieser Platz steht nicht allein für Text zur Verfügung: Auch die Token aus Bild-, Audio- und Videoeingaben zählen zum selben Limit.
Multimodale Eingaben und Werkzeugaufrufe
Die Transformers-Integration enthält MuseSparkForConditionalGeneration zur Texterzeugung aus multimodalen Eingaben und MuseSparkProcessor zur Vorbereitung von Konversationen. Werkzeugaufrufe werden sowohl bei reinen Textaufgaben als auch bei der Arbeit mit weiteren Modalitäten unterstützt.
Anders als bei Muse Glimmer kann der Prozessor dank des Audio-Encoders Videos einschließlich ihrer Tonspur verarbeiten. Standardmäßig wählt er zwei Bilder pro Sekunde aus, höchstens jedoch 96 Einzelbilder. Eine höhere Bildrate erhält mehr visuelle Details im zeitlichen Verlauf, erhöht aber den Speicherbedarf und die Latenz bei der Eingabeverarbeitung. Die Tonspur eines Videos wird mit dem Parameter load_audio_from_video=True aktiviert.
Direkt übergebenes Audio muss als Monosignal mit einer Abtastrate von 24 kHz vorliegen; andere Abtastraten müssen zuvor umgewandelt werden. Der Encoder verarbeitet Abschnitte von 80 Millisekunden, was 12,5 Audio-Token pro Sekunde entspricht.
Der Reasoning-Aufwand lässt sich auf low, medium, high oder xhigh einstellen. Diesen Stufen entsprechen die Werte 16, 64, 256 und 512. Vollständig abschalten lässt sich das Reasoning nicht. Für einfachere Aufgaben empfiehlt die Dokumentation low, damit das Modell weniger Token verbraucht.
Zwei Checkpoints und Betrieb auf dem Mac
Verfügbar sind die Checkpoints Muse-Spark-Open-816B-A42B im Format BF16 und Muse-Spark-Open-816B-A42B-NVFP4. BF16 belegt ungefähr 1,5 TB. Die Vier-Bit-Variante NVFP4 ist für NVIDIA-Blackwell-GPUs ausgelegt und bringt laut Hugging Face einen vernachlässigbaren Genauigkeitsverlust mit sich. In der beschriebenen Transformers-Konfiguration läuft BF16 auf vier Knoten mit jeweils acht H200 und TP=32, NVFP4 dagegen auf einem B200-Knoten.
Auch die vorgefertigten Binärdateien von llama.cpp unterstützen Muse Spark Open. Hugging Face maß bei einem Test auf einem Mac M3 Ultra mit 512 GB Speicher für eine per imatrix kalibrierte Zwei-Bit-Quantisierung 18 Token pro Sekunde. Das Modell selbst belegte in dieser Konfiguration 304 GB.
Vom Server hängen Eingabearten und Kontextlänge ab
SGLang verarbeitet alle vier Eingabearten; seine NVFP4-Referenzkonfiguration läuft auf vier GB300-GPUs. Die Referenzintegration von vLLM unterstützt mit dem NVFP4-Checkpoint dagegen Text und Bilder, erfordert Blackwell-GPUs und verwendet in der angegebenen Konfiguration einen Kontext von 128 000 Token.
Hugging Face bietet die Bereitstellung von NVFP4 über Inference Endpoints mit einer vorab validierten SGLang-Konfiguration an. Die Konfiguration aus acht NVIDIA RTX Pro 6000 mit je 98 GB ermöglicht 131 072 Token Kontext; für 1 048 576 Token ist eine Konfiguration mit acht NVIDIA H200 mit jeweils 141 GB vorgesehen. Die Schnittstelle ist OpenAI-kompatibel und unterstützt sowohl Chat Completions als auch Responses. Als API-Schlüssel verwendet der Client einen Hugging-Face-Token.
Feinabstimmung mit LoRA-Adaptern
Hugging Face demonstrierte außerdem die Feinabstimmung mit TRL SFTTrainer auf acht Knoten mit jeweils acht H100. Das Verfahren trainiert LoRA-Adapter in den Attention-Schichten, während die Experten unverändert bleiben. Bei der beispielhaften Anpassung der Chat-Vorlage dauerten 500 Schritte auf 64 H100 ungefähr zwei Stunden, bei einem Durchsatz von etwa 8 000 Token pro Sekunde.
