La prima voce è sempre la fonte del pin. L’affidabilità complessiva è una media ponderata di quanto ogni fonte conferma gli orari di inizio e fine indicati sopra; una fonte conta la metà per ogni 180 giorni in più rispetto alla più recente.
Il post di Google «Gemma 2 è ora disponibile per ricercatori e sviluppatori» è datato 27 giugno 2024 (firmato da Clement Farabet e Tris Warkentin) e Maginative[5] lo ha riportato lo stesso giorno; i repository di Hugging Face[4][6] sono stati creati il 24 giugno sotto embargo e il rapporto tecnico è seguito su arXiv[2] il 31 luglio 2024.
Gemma 2 technical report (v1 31 July 2024): 2B to 27B models with alternating local-global attention and grouped-query attention, 2B and 9B trained by knowledge distillation, 27B on 13T tokens and 9B on 8T; LMSYS Chatbot Arena Elo 1218 for the 27B and 1187 for the 9B.[1]
OpenRouter listing (read from its models API): Google: Gemma 2 27B, added 13 July 2024, 8,192-token context, $0.65 per million input and output tokens.
Model card (gated): text-to-text decoder-only English model, 13 trillion training tokens for the 27B and 8 trillion for the 9B, Gemma license, pretrained benchmark table with MMLU 75.2, HellaSwag 86.4, GSM8K 74.0 and HumanEval 51.8 for the 27B.[1]
Maginative (Chris McKay), 27 June 2024: Gemma 2 9B and 27B released, 27B competitive with proprietary models more than twice its size and approaching Llama 3 70B and Claude 3 Sonnet, single TPU host, A100 80GB or H100, commercially friendly license, available in Google AI Studio and on Kaggle and Hugging Face[4][6].
Manca qualcosa o c’è un errore? Dillo con parole tue: un link che conferma questo pin, una data di inizio o fine diversa e perché, o un fatto che manca o è sbagliato. L’IA lo confronta con le fonti del pin, ne cerca di migliori e aggiunge qualsiasi pagina ti dia ragione. Le fonti del pin contano comunque di più. Anche un’immagine che mostra altro, o lo mostra male, viene esaminata e spostata in basso o sostituita.
Titolo originale: Gemma 2 9B and 27B Released
Grafico delle prestazioni di Google dal post di lancio; "-" significa non riportato[1].
| Benchmark (metrica) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |