Googles Beitrag 'Introducing Gemma 3: The most capable model you can run on a single GPU or TPU' und die Anleitung im Entwicklerblog sind auf den 12. März 2025 datiert und besagen, dass Gemma 3 an diesem Tag verfügbar war.[1]
- Beginn
- 12. März 202590 % SICHERHEITlaut der Quelle
Gemma 3 4B, 12B, 27B und 1B veröffentlicht
Automatisch aus dem Original übersetzt
Originaltitel: Gemma 3 4B, 12B, 27B and 1B Released
Google veröffentlicht Gemma 3, offene Modelle mit 1B, 4B, 12B und 27B, mit Bildverständnis, einem Kontextfenster von 128K und Unterstützung für 140 Sprachen; das 27B erreicht 1338 auf LMArena, und das 4B wird gegen Gemma 2 27B positioniert.
- Google veröffentlichte Gemma 3 am 12. März 2025 in vier Größen, 1B, 4B, 12B und 27B, jeweils als vortrainiertes und als instruktionsoptimiertes Modell, und bezeichnete es als das leistungsfähigste Modell, das sich auf einer einzelnen GPU oder TPU betreiben lässt[1][5]
- Es folgt auf Gemma 2 vom Juni 2024 und ergänzt Bildverständnis in allen Größen außer dem 1B, einen Kontext von 128K Token (32K beim 1B) und vortrainierte Unterstützung für mehr als 140 Sprachen, von denen mehr als 35 direkt funktionieren; das 1B ist der Ausreißer: ein reines Text- und nur englischsprachiges Modell[1][3][5]
- Googles Hauptargument ist ein Wert von 1338 auf LMArena für das 27B, vor Llama 3.1 405B, DeepSeek-V3 und o3-mini in vorläufigen Ergebnissen zur menschlichen Präferenz; der technische Bericht ergänzt, dass das 4B-Instruct-Modell mit Gemma 2 27B konkurrenzfähig ist[1][4][6]
- Das 4B ist das kleine multimodale Arbeitstier: Es erreicht 43.6 auf MMLU-Pro, 75.6 auf MATH und 70.1 auf FACTS Grounding, gegenüber 46.8, 49.4 und 62.0 bei Gemma 2 9B; der Gewinn liegt also in Mathematik und Faktentreue statt im Allgemeinwissen[4]
- Die Preise bei gehosteten Anbietern sind winzig: OpenRouter listet das 4B mit $0.05 pro 1 Million Eingabe-Token und $0.10 pro 1 Million Ausgabe-Token[2]
Wichtige Funktionen
- Multimodale Eingabe: Bilder werden von einem SigLIP-Vision-Encoder kodiert, den sich 4B, 12B und 27B teilen; er ist für Bilder mit 896x896 ausgelegt und nutzt ein adaptives Fenster für hochauflösende und nicht quadratische Bilder[5]
- Trainiert mit 2T, 4T, 12T und 14T Token für das 1B, 4B, 12B und 27B, auf Google-TPUs mit JAX; das Post-Training nutzt Destillation, RLHF sowie Feedback aus Mathematik (RLMF) und Codeausführung (RLEF)[5]
- Funktionsaufrufe und strukturierte Ausgabe, offizielle quantisierte Versionen und Verfügbarkeit über Google AI Studio, Hugging Face, Kaggle, Ollama, Vertex AI und Cloud Run[1][5]
- ShieldGemma 2, ein auf Gemma 3 aufbauender 4B-Bildsicherheitsprüfer, erschien zusammen damit, und die Architektur erhöht das Verhältnis lokaler zu globalen Aufmerksamkeitsschichten, um den Speicherbedarf bei langem Kontext gering zu halten[1][4]
- Die Gewichte sind kostenlos bei Hugging Face und Kaggle erhältlich, auch wenn Wikipedia Gemma als quelloffen einsehbar (source-available) statt als Open Source einstuft[1][3]
Benchmarks[4]
| Benchmark | Gemma 2 2B | Gemma 2 9B | Gemma 2 27B | Gemma 3 1B | Gemma 3 4B | Gemma 3 12B | Gemma 3 27B |
|---|---|---|---|---|---|---|---|
| MMLU-Pro | 15.6 | 46.8 | 56.9 | 14.7 | 43.6 | 60.6 | 67.5 |
| LiveCodeBench | 1.2 | 10.8 | 20.4 | 1.9 | 12.6 | 24.6 | 29.7 |
| Bird-SQL (dev) | 12.2 | 33.8 | 46.7 | 6.4 | 36.3 | 47.9 | 54.4 |
| GPQA Diamond | 24.7 | 28.8 | 34.3 | 19.2 | 30.8 | 40.9 | 42.4 |
| SimpleQA | 2.8 | 5.3 | 9.2 | 2.2 | 4.0 | 6.3 | 10.0 |
| FACTS Grounding | 43.8 | 62.0 | 62.4 | 36.4 | 70.1 | 75.8 | 74.9 |
| Global MMLU-Lite | 41.9 | 64.8 | 68.6 | 34.2 | 54.5 | 69.5 | 75.1 |
| MATH | 27.2 | 49.4 | 55.6 | 48.0 | 75.6 | 83.8 | 89.0 |
| HiddenMath | 1.8 | 10.4 | 14.8 | 15.8 | 43.0 | 54.5 | 60.3 |
| MMMU (val) | - | - | - | - | 48.8 | 59.6 | 64.9 |
Kaufen beiGemini