La première entrée est toujours la source de l’épingle. La confiance globale est une moyenne pondérée de la fermeté avec laquelle chaque référence étaye les heures de début et de fin retenues ci-dessus ; une référence compte moitié moins pour chaque tranche de 180 jours d’ancienneté par rapport à la plus récente.
L'article de Google « Gemma 2 est désormais disponible pour les chercheurs et les développeurs » est daté du 27 juin 2024 (signé Clement Farabet et Tris Warkentin) et Maginative[5] l'a relayé le jour même ; les dépôts Hugging Face[4][6] ont été créés le 24 juin sous embargo et le rapport technique a suivi sur arXiv[2] le 31 juillet 2024.
Gemma 2 technical report (v1 31 July 2024): 2B to 27B models with alternating local-global attention and grouped-query attention, 2B and 9B trained by knowledge distillation, 27B on 13T tokens and 9B on 8T; LMSYS Chatbot Arena Elo 1218 for the 27B and 1187 for the 9B.[1]
OpenRouter listing (read from its models API): Google: Gemma 2 27B, added 13 July 2024, 8,192-token context, $0.65 per million input and output tokens.
Model card (gated): text-to-text decoder-only English model, 13 trillion training tokens for the 27B and 8 trillion for the 9B, Gemma license, pretrained benchmark table with MMLU 75.2, HellaSwag 86.4, GSM8K 74.0 and HumanEval 51.8 for the 27B.[1]
Maginative (Chris McKay), 27 June 2024: Gemma 2 9B and 27B released, 27B competitive with proprietary models more than twice its size and approaching Llama 3 70B and Claude 3 Sonnet, single TPU host, A100 80GB or H100, commercially friendly license, available in Google AI Studio and on Kaggle and Hugging Face[4][6].
Il manque quelque chose ou une erreur s'est glissée ? Dites-le avec vos mots : un lien qui étaye cette épingle, une autre date de début ou de fin et pourquoi, ou une information absente ou erronée. L'IA la vérifie au regard des sources de l'épingle, en cherche de meilleures et ajoute toute page qui vous donne raison. Les sources de l'épingle restent celles qui comptent le plus. L'IA regarde aussi les images : une image qui montre autre chose, ou qui le montre mal, passe en dernier ou est remplacée.
Titre original: Gemma 2 9B and 27B Released
Graphique de performances de Google issu de l'article de lancement ; "-" signifie non communiqué[1].
| Benchmark (métrique) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |