Google stellt quantisierte Gemma-3-Modelle vor
Google hat quantisierte Gemma-3-Modelle vorgestellt, die die Leistung fortschrittlicher KI auch auf handelsüblicher Hardware ermöglichen. Die größte Überraschung ist, dass sich sogar ein massives Modell mit 27 Milliarden Parametern nun auf Verbraucher-Grafikkarten wie der NVIDIA RTX 3090 betreiben lässt.
Quantisierung als Schlüssel zur Zugänglichkeit
Quantisierung ist eine Technik, die es ermöglicht, anspruchsvolle KI-Modelle auf weniger leistungsfähiger Hardware auszuführen, indem die Genauigkeit der für die Berechnungen verwendeten Zahlen reduziert wird. Während herkömmliche Modelle häufig 16 oder 32 Bit zur Darstellung jeder Zahl benötigen (FP16/FP32), können quantisierte Modelle mit nur 4 oder 8 Bit arbeiten (INT4/INT8). Das Revolutionäre an den Gemma-3-Modellen ist jedoch, dass sie mit Blick auf eine zukünftige Quantisierung („quantized-aware training“) trainiert wurden. Im Gegensatz zum herkömmlichen Ansatz, bei dem das Modell zunächst mit voller Genauigkeit trainiert und erst anschließend quantisiert wird, hat Google die Quantisierung bereits in den Trainingsprozess einbezogen. Das Ergebnis ist, dass die Gemma-3-Modelle auch bei niedriger Auflösung hervorragende Ergebnisse erzielen.
Gemma 3 mit 27B Parametern auf Ihrem Desktop-Computer
Am beeindruckendsten ist, dass sich nun sogar das größte 27-Milliarden-Parameter-Modell Gemma 3 auf einer handelsüblichen Verbraucher-Grafikkarte wie der NVIDIA RTX 3090 betreiben lässt. Diese Karte ist zwar weiterhin leistungsfähig, aber deutlich erschwinglicher als spezialisierte Hardware, die früher für ähnlich große Modelle unerlässlich war. Laut Angaben von Google kann eine RTX 3090 mit 24 GB VRAM das Modell Gemma 3 27B in 4-Bit-Quantisierung mit einer Textgenerierungsgeschwindigkeit von 10 Token pro Sekunde ausführen. Das ist für die meisten praktischen Anwendungen ausreichend schnell.
Leistung vergleichbar mit deutlich größeren Modellen
Trotz ihrer relativ bescheidenen Hardwareanforderungen können die Gemma-3-Modelle mit einer beeindruckenden Leistung aufwarten. In Benchmarks wie MMLU (Massive Multitask Language Understanding) erzielt das 27B-Modell Ergebnisse, die sogar mit deutlich größeren Modellen konkurrenzfähig sind. Insbesondere bei Tests zum Textverständnis, logischen Schlussfolgern und zur Problemlösung erreicht Gemma 3 27B eine Punktzahl, die mit Modellen mit 70 Milliarden Parametern vergleichbar ist, jedoch deutlich geringere Rechenressourcen erfordert.
Verfügbare Modellvarianten
Google veröffentlicht die quantisierten Gemma-3-Modelle in drei Größen:
- Gemma 3 2B: das kleinste und schnellste Modell, geeignet für einfache Anwendungen.
- Gemma 3 9B: ein mittelgroßes Modell, das einen guten Kompromiss zwischen Leistung und Geschwindigkeit bietet.
- Gemma 3 27B: das größte Modell mit der höchsten Leistung, das sich dennoch auf einer RTX-3090-GPU betreiben lässt.
Alle Modelle sind in Versionen erhältlich, die für 4-Bit- und 8-Bit-Quantisierung optimiert sind. Dadurch können Entwickler je nach verfügbarer Hardware und gewünschter Leistung die passende Variante auswählen.
Was das für das KI-Ökosystem bedeutet
Dieser Schritt von Google ist für das gesamte Ökosystem der künstlichen Intelligenz von Bedeutung. Der Zugang zu leistungsfähigen Modellen wird einer deutlich größeren Entwicklergemeinschaft ermöglichen, mit fortschrittlicher KI-Technologie zu experimentieren. „Unser Ziel ist es, hochmoderne KI einem möglichst breiten Publikum zugänglich zu machen“, erklärten die Google-Ingenieure in ihrem Entwicklerblog. „Dank der beim Training der Gemma-3-Modelle eingesetzten Quantisierungstechniken können sich nun auch Entwickler ohne Zugang zu teurer spezialisierter Hardware an der Entwicklung innovativer KI-Anwendungen beteiligen.“
So starten Sie mit Gemma 3
Die Modelle sind über Hugging Face und Google Cloud verfügbar. Entwickler können vorgefertigte Integrationstools für TensorFlow und PyTorch nutzen, die die Implementierung der Modelle in eigenen Anwendungen erleichtern. Google stellt außerdem eine ausführliche Dokumentation und Beispielprojekte bereit, die die praktische Nutzung der Gemma-3-Modelle in verschiedenen Szenarien veranschaulichen – von der Textgenerierung über Chatbots bis hin zur Unterstützung beim Programmieren.
