- Début
- 12 mars 2025CONFIANCE 90 %source
Gemma 3 4B, 12B, 27B et 1B lancés
Traduit automatiquement de l’original
Titre original: Gemma 3 4B, 12B, 27B and 1B Released
Google lance Gemma 3, des modèles ouverts de 1B, 4B, 12B et 27B avec vision, une fenêtre de contexte de 128K et la prise en charge de 140 langues ; le 27B obtient 1338 sur LMArena et le 4B est présenté face à Gemma 2 27B.
- Google a lancé Gemma 3 le 12 mars 2025 en quatre tailles, 1B, 4B, 12B et 27B, chacune en version préentraînée et ajustée aux instructions, le présentant comme le modèle le plus performant exécutable sur un seul GPU ou TPU[1][5]
- Il fait suite à Gemma 2 de juin 2024 et ajoute la vision à toutes les tailles sauf la 1B, un contexte de 128K jetons (32K pour la 1B) et une prise en charge préentraînée de plus de 140 langues, dont plus de 35 fonctionnent d'emblée ; la 1B fait exception : un modèle texte seul, en anglais uniquement[1][3][5]
- L'argument principal de Google est un score de 1338 sur LMArena pour le 27B, devant Llama 3.1 405B, DeepSeek-V3 et o3-mini dans des résultats préliminaires de préférence humaine ; le rapport technique ajoute que le modèle 4B instruct rivalise avec Gemma 2 27B[1][4][6]
- Le 4B est le petit cheval de bataille multimodal : il obtient 43.6 sur MMLU-Pro, 75.6 sur MATH et 70.1 sur FACTS Grounding, contre 46.8, 49.4 et 62.0 pour Gemma 2 9B ; le progrès porte donc sur les mathématiques et la factualité plutôt que sur les connaissances générales[4]
- Les tarifs hébergés sont minuscules : OpenRouter affiche le 4B à $0.05 par 1 million de jetons en entrée et $0.10 par 1 million de jetons en sortie[2]
Principales fonctionnalités
- Entrée multimodale : les images sont encodées par un encodeur de vision SigLIP commun aux 4B, 12B et 27B, conçu pour des images de 896x896 avec une fenêtre adaptative pour les images haute résolution et non carrées[5]
- Entraînés sur 2T, 4T, 12T et 14T jetons pour les 1B, 4B, 12B et 27B, sur des TPU de Google avec JAX ; le post-entraînement recourt à la distillation, au RLHF et à un retour sur les mathématiques (RLMF) et l'exécution de code (RLEF)[5]
- Appel de fonctions et sortie structurée, versions quantifiées officielles et disponibilité via Google AI Studio, Hugging Face, Kaggle, Ollama, Vertex AI et Cloud Run[1][5]
- ShieldGemma 2, un vérificateur de sécurité d'images de 4B construit sur Gemma 3, a été lancé avec lui, et l'architecture augmente le ratio de couches d'attention locale par rapport à globale pour limiter la mémoire du contexte long[1][4]
- Les poids sont téléchargeables gratuitement sur Hugging Face et Kaggle, même si Wikipédia classe Gemma comme « source-available » plutôt que comme open source[1][3]
Benchmarks[4]
| Benchmark | Gemma 2 2B | Gemma 2 9B | Gemma 2 27B | Gemma 3 1B | Gemma 3 4B | Gemma 3 12B | Gemma 3 27B |
|---|---|---|---|---|---|---|---|
| MMLU-Pro | 15.6 | 46.8 | 56.9 | 14.7 | 43.6 | 60.6 | 67.5 |
| LiveCodeBench | 1.2 | 10.8 | 20.4 | 1.9 | 12.6 | 24.6 | 29.7 |
| Bird-SQL (dev) | 12.2 | 33.8 | 46.7 | 6.4 | 36.3 | 47.9 | 54.4 |
| GPQA Diamond | 24.7 | 28.8 | 34.3 | 19.2 | 30.8 | 40.9 | 42.4 |
| SimpleQA | 2.8 | 5.3 | 9.2 | 2.2 | 4.0 | 6.3 | 10.0 |
| FACTS Grounding | 43.8 | 62.0 | 62.4 | 36.4 | 70.1 | 75.8 | 74.9 |
| Global MMLU-Lite | 41.9 | 64.8 | 68.6 | 34.2 | 54.5 | 69.5 | 75.1 |
| MATH | 27.2 | 49.4 | 55.6 | 48.0 | 75.6 | 83.8 | 89.0 |
| HiddenMath | 1.8 | 10.4 | 14.8 | 15.8 | 43.0 | 54.5 | 60.3 |
| MMMU (val) | - | - | - | - | 48.8 | 59.6 | 64.9 |
Acheter surGemini