Apple zeigt, wie das Unternehmen seine Sprachmodelle trainiert

Stellen Sie sich vor, Apple hätte gerade einen ausführlichen technischen Bericht über seine neuen Basissprachmodelle für Apple Intelligence veröffentlicht. Dieses Dokument mit dem Titel „Apple Intelligence Foundation Language Models – Technischer Bericht 2025“ beschreibt, wie das Unternehmen seine Modelle für Geräte und Server trainiert und optimiert hat. Es behandelt Architektur, Datenquellen, Vortraining, zusätzliches Training, Optimierungen und Evaluierung. Um das Ganze noch interessanter zu machen, ergänzen wir vier spannende Punkte aus der Analyse von 9to5Mac, die zeigen, wie Apple die Grenzen von Effizienz und Leistung verschoben hat. Alles basiert auf tatsächlichen Daten aus dem Dokument.

Für eine bessere Effizienz in zwei Blöcke unterteiltes Modell

Apples Modell für Geräte mit rund 3 Milliarden Parametern wurde geschickt in zwei Blöcke unterteilt. Der erste Block enthält 62,5 % aller Transformer-Schichten, während der zweite Block die übrigen 37,5 % umfasst, jedoch ohne Schlüssel- und Wertprojektionen. Dieser Trick reduziert den Speicherverbrauch des KV-Caches (Schlüssel-Wert-Zwischenspeicher) um 37,5 % und verkürzt auch die Zeit bis zum ersten Token um etwa 37,5 %. Apple zufolge bleibt dadurch die Qualität des Modells erhalten, was Benchmarks wie MMLU (67,85 Punkte), MMMLU (60,60 Punkte) und MGSM (74,91 Punkte) bestätigen. Ein Vergleich mit Modellen wie Qwen-2.5-3B oder Gemma-3-4B zeigt, dass Apples Modell konkurrenzfähig ist, auch wenn es hinter größeren Modellen wie Qwen-3-4B zurückbleibt. Dieser Ansatz erinnert an eine ältere Apple-Studie aus dem Jahr 2023, in der mit dem Verschieben von Teilen des Modells zwischen RAM und Flash-Speicher experimentiert wurde, letztlich entschied sich das Unternehmen jedoch für diese effizientere Struktur.

Architektur des Servermodells für Private Cloud Compute

Für das Servermodell hat Apple eine neue Architektur namens Parallel-Track Mixture-of-Experts (PT-MoE) entwickelt, die an die Plattform Private Cloud Compute angepasst ist. Statt eines einzelnen sequenziellen Schichtenstapels wird das Modell in mehrere parallele Pfade aufgeteilt, wobei jeder Pfad die Token eigenständig verarbeitet und nur an den Blockgrenzen synchronisiert wird. Jeder Pfad enthält MoE-Schichten (eine Mischung aus Experten), bei denen nur die für die jeweilige Aufgabe relevanten Experten aktiviert werden – beim Kochen beispielsweise nur diejenigen, die auf Rezepte spezialisiert sind. Dies reduziert den Synchronisierungsaufwand bei einer Blocktiefe von 4 um 87,5 % und steigert die Effizienz. Darüber hinaus wechselt das Modell zwischen lokalen und globalen Aufmerksamkeitsschichten, wodurch lange Sequenzen von bis zu 65.000 Token ohne Qualitätsverlust verarbeitet werden können. In Benchmarks erreicht es 80,20 Punkte bei MMLU, 74,60 bei MMMLU und 87,09 bei MGSM. Damit ist es mit LLaMA 4 Scout vergleichbar, bleibt jedoch hinter größeren Modellen wie Qwen-3-235B oder GPT-4o zurück. Dieses Design macht das Modell schneller und sparsamer und damit ideal für Cloud-Aufgaben.

Steigerung der mehrsprachigen Unterstützung um 275 % dank intelligenten Trainings

Eine der größten Verbesserungen ist die Erweiterung der Sprachunterstützung. Apple erhöhte den Anteil mehrsprachiger Daten am Training von 8 % auf 30 %, was einer Steigerung um 275 % entspricht. Dazu gehören organische Daten, synthetische Daten und maschinell übersetzte Dokumente, wobei großer Wert auf ein ausgewogenes Verhältnis zwischen den Sprachen gelegt wurde. Der Tokenizer (ein Werkzeug zur Aufteilung von Text in Token) wurde von 100.000 auf 150.000 Token erweitert, was die Repräsentation neuer Sprachen verbesserte. Beim Post-Training, einschließlich SFT (überwachtes Feinabstimmen) und RLHF (Verstärkungslernen mit menschlichem Feedback), wurde das Verhältnis zwischen englischen und mehrsprachigen Daten bei 80:20 gehalten. Die Evaluierung zeigte deutliche Verbesserungen, etwa bei IFEval und AlpacaEval, wo zur Gewährleistung der Natürlichkeit von Muttersprachlern verfasste Prompts verwendet wurden. Dadurch funktionieren Funktionen wie Writing Tools in unterstützten Sprachen wie Portugiesisch, Französisch oder Japanisch zuverlässiger und erzielten in Tests mit Menschen gegenüber den SFT-Versionen ein Gewinnverhältnis von 16:9.

Vom Web bis zu synthetischen Bildern – alles mit Fokus auf Qualität

Apple sammelte Daten verantwortungsvoll und ohne private Nutzerinformationen zu verwenden. Der größte Teil stammt aus dem Web-Crawling durch Applebot, der die robots.txt-Dateien für den Ausschluss von Websites respektiert. Die Daten umfassen Hunderte Milliarden Seiten, die nach Qualität gefiltert und von vulgären sowie gefährlichen Inhalten bereinigt wurden. Hinzu kommen lizenzierte Daten von Verlagen und Anbietern, möglicherweise von Condé Nast oder Shutterstock, wobei keine Einzelheiten genannt werden. Synthetische Daten spielen eine entscheidende Rolle – Apple generierte mehr als 5 Milliarden Bild-Beschreibungs-Paare für das visuelle Verständnis, einschließlich OCR (optische Zeichenerkennung) für textbasierte Bilder wie Flugblätter oder Infografiken. Für Bilder wurden mehr als 10 Milliarden Paare mit Alt-Texten sowie 550 Millionen Bilder im Textkontext gesammelt. All dies half den Modellen bei Aufgaben wie dem Hinzufügen von Terminen zum Kalender anhand eines Fotos von einem Flugblatt. Insgesamt führt dies zu einer besseren Leistung in Benchmarks wie MMLU, bei dem das On-Device-Modell Qwen-2.5-3B übertrifft.

Dieser Blick hinter die Kulissen zeigt, wie Apple sich dem Wettbewerb stellt, auch wenn das Unternehmen weiterhin aufholen muss. Mit dem Fokus auf Datenschutz und Effizienz, beispielsweise durch Private Cloud Compute, ist dies ein Schritt nach vorn für Nutzer, die intelligente Funktionen ohne Kompromisse wünschen. Wenn Sie sich für die Einzelheiten interessieren, ist der technische Bericht mit seinen zahlreichen Diagrammen und Tabellen eine äußerst lesenswerte Lektüre.