Google stellt quantisierte Gemma-3-Modelle vor

Google stellt quantisierte Gemma-3-Modelle vor

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
22. 4. 2025
3 Minuten Lesezeit · 10 Aufrufe
Google stellt quantisierte Gemma-3-Modelle vor

Google stellt quantisierte Gemma-3-Modelle vor

Google hat quantisierte Gemma-3-Modelle vorgestellt, die die Leistung fortschrittlicher KI auch auf handelsüblicher Hardware ermöglichen. Die größte Überraschung ist, dass sich sogar ein massives Modell mit 27 Milliarden Parametern nun auf Verbraucher-Grafikkarten wie der NVIDIA RTX 3090 betreiben lässt.

Quantisierung als Schlüssel zur Zugänglichkeit

Quantisierung ist eine Technik, die es ermöglicht, anspruchsvolle KI-Modelle auf weniger leistungsfähiger Hardware auszuführen, indem die Genauigkeit der für die Berechnungen verwendeten Zahlen reduziert wird. Während herkömmliche Modelle häufig 16 oder 32 Bit zur Darstellung jeder Zahl benötigen (FP16/FP32), können quantisierte Modelle mit nur 4 oder 8 Bit arbeiten (INT4/INT8). Das Revolutionäre an den Gemma-3-Modellen ist jedoch, dass sie mit Blick auf eine zukünftige Quantisierung („quantized-aware training“) trainiert wurden. Im Gegensatz zum herkömmlichen Ansatz, bei dem das Modell zunächst mit voller Genauigkeit trainiert und erst anschließend quantisiert wird, hat Google die Quantisierung bereits in den Trainingsprozess einbezogen. Das Ergebnis ist, dass die Gemma-3-Modelle auch bei niedriger Auflösung hervorragende Ergebnisse erzielen.

Gemma 3 mit 27B Parametern auf Ihrem Desktop-Computer

Am beeindruckendsten ist, dass sich nun sogar das größte 27-Milliarden-Parameter-Modell Gemma 3 auf einer handelsüblichen Verbraucher-Grafikkarte wie der NVIDIA RTX 3090 betreiben lässt. Diese Karte ist zwar weiterhin leistungsfähig, aber deutlich erschwinglicher als spezialisierte Hardware, die früher für ähnlich große Modelle unerlässlich war. Laut Angaben von Google kann eine RTX 3090 mit 24 GB VRAM das Modell Gemma 3 27B in 4-Bit-Quantisierung mit einer Textgenerierungsgeschwindigkeit von 10 Token pro Sekunde ausführen. Das ist für die meisten praktischen Anwendungen ausreichend schnell.

Gemma 3 GPU VRAM

Leistung vergleichbar mit deutlich größeren Modellen

Trotz ihrer relativ bescheidenen Hardwareanforderungen können die Gemma-3-Modelle mit einer beeindruckenden Leistung aufwarten. In Benchmarks wie MMLU (Massive Multitask Language Understanding) erzielt das 27B-Modell Ergebnisse, die sogar mit deutlich größeren Modellen konkurrenzfähig sind. Insbesondere bei Tests zum Textverständnis, logischen Schlussfolgern und zur Problemlösung erreicht Gemma 3 27B eine Punktzahl, die mit Modellen mit 70 Milliarden Parametern vergleichbar ist, jedoch deutlich geringere Rechenressourcen erfordert.

Gemma 3 - Benchmark

Verfügbare Modellvarianten

Google veröffentlicht die quantisierten Gemma-3-Modelle in drei Größen:

  • Gemma 3 2B: das kleinste und schnellste Modell, geeignet für einfache Anwendungen.
  • Gemma 3 9B: ein mittelgroßes Modell, das einen guten Kompromiss zwischen Leistung und Geschwindigkeit bietet.
  • Gemma 3 27B: das größte Modell mit der höchsten Leistung, das sich dennoch auf einer RTX-3090-GPU betreiben lässt.

Alle Modelle sind in Versionen erhältlich, die für 4-Bit- und 8-Bit-Quantisierung optimiert sind. Dadurch können Entwickler je nach verfügbarer Hardware und gewünschter Leistung die passende Variante auswählen.

Was das für das KI-Ökosystem bedeutet

Dieser Schritt von Google ist für das gesamte Ökosystem der künstlichen Intelligenz von Bedeutung. Der Zugang zu leistungsfähigen Modellen wird einer deutlich größeren Entwicklergemeinschaft ermöglichen, mit fortschrittlicher KI-Technologie zu experimentieren. „Unser Ziel ist es, hochmoderne KI einem möglichst breiten Publikum zugänglich zu machen“, erklärten die Google-Ingenieure in ihrem Entwicklerblog. „Dank der beim Training der Gemma-3-Modelle eingesetzten Quantisierungstechniken können sich nun auch Entwickler ohne Zugang zu teurer spezialisierter Hardware an der Entwicklung innovativer KI-Anwendungen beteiligen.“

So starten Sie mit Gemma 3

Die Modelle sind über Hugging Face und Google Cloud verfügbar. Entwickler können vorgefertigte Integrationstools für TensorFlow und PyTorch nutzen, die die Implementierung der Modelle in eigenen Anwendungen erleichtern. Google stellt außerdem eine ausführliche Dokumentation und Beispielprojekte bereit, die die praktische Nutzung der Gemma-3-Modelle in verschiedenen Szenarien veranschaulichen – von der Textgenerierung über Chatbots bis hin zur Unterstützung beim Programmieren.

Werbung

Inhalte entstehen mit Unterstützung von UpTier.

SEO und GEO auf Autopilot. Die Multiagentensysteme von UpTier schreiben und optimieren Inhalte für Suchmaschinen und KI-Antworten.

UpTier entdecken ↗

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

Kalifornien verklagt OpenAI wegen gefährlicher Experimente. KI entkam bereits 80-malKalifornien verklagt OpenAI wegen gefährlicher Experimente. KI entkam bereits 80-mal
Kalifornien verklagt OpenAI wegen Agenten, die wiederholt aus der Testumgebung entkamen und Hugging Face angriffen. Laut Klage täuschte das Unternehmen die Öffentlichkeit über das Ausmaß der Probleme.
6 Min. Lesezeit
18. 11. 2026
Google speichert temporäre Gemini-Chats künftig rund zwei MonateGoogle speichert temporäre Gemini-Chats künftig rund zwei Monate
Die Änderung betrifft auch Gespräche bei ausgeschaltetem Chatverlauf. Google trennt zugleich die Einstellungen für den Verlauf und das KI-Training.
1 Min. Lesezeit
18. 11. 2026
Das KI-Fieber an der Börse kühlt ab. Abgang des Nvidia-Chefs schickt KI-Aktien auf TalfahrtDas KI-Fieber an der Börse kühlt ab. Abgang des Nvidia-Chefs schickt KI-Aktien auf Talfahrt
Nach dem überraschenden Abgang des Nvidia-Chefs brechen KI-Aktien ein und ziehen den gesamten Markt mit nach unten. US-Beschränkungen für China und die nahenden Nvidia-Zahlen schüren die Nervosität weiter.
6 Min. Lesezeit
18. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok