Der erste Eintrag ist immer die Quelle des Pins. Die Gesamtsicherheit ist ein gewichteter Durchschnitt, wie fest jeder Beleg die oben verwendeten Start- und Endzeiten stützt; ein Beleg zählt für je 180 Tage, die er älter ist als der neueste, nur halb so viel.
Googles Beitrag „Gemma 2 ist jetzt für Forscher und Entwickler verfügbar“ ist auf den 27. Juni 2024 datiert (verfasst von Clement Farabet und Tris Warkentin), und Maginative[5] berichtete am selben Tag darüber; die Hugging-Face[4][6]-Repositories wurden am 24. Juni unter Embargo angelegt, und der technische Bericht folgte am 31. Juli 2024 auf arXiv[2].
Gemma 2 technical report (v1 31 July 2024): 2B to 27B models with alternating local-global attention and grouped-query attention, 2B and 9B trained by knowledge distillation, 27B on 13T tokens and 9B on 8T; LMSYS Chatbot Arena Elo 1218 for the 27B and 1187 for the 9B.[1]
OpenRouter listing (read from its models API): Google: Gemma 2 27B, added 13 July 2024, 8,192-token context, $0.65 per million input and output tokens.
Model card (gated): text-to-text decoder-only English model, 13 trillion training tokens for the 27B and 8 trillion for the 9B, Gemma license, pretrained benchmark table with MMLU 75.2, HellaSwag 86.4, GSM8K 74.0 and HumanEval 51.8 for the 27B.[1]
Maginative (Chris McKay), 27 June 2024: Gemma 2 9B and 27B released, 27B competitive with proprietary models more than twice its size and approaching Llama 3 70B and Claude 3 Sonnet, single TPU host, A100 80GB or H100, commercially friendly license, available in Google AI Studio and on Kaggle and Hugging Face[4][6].
Fehlt etwas oder stimmt etwas nicht? Sag es in deinen eigenen Worten: ein Link, der diesen Pin belegt, ein anderes Start- oder Enddatum und warum, oder eine Angabe, die fehlt oder falsch ist. Die KI prüft es an den Quellen dieses Pins, sucht nach besseren und ergänzt jede Seite, die dich bestätigt. Die eigenen Quellen des Pins zählen weiterhin am meisten. Auch Bilder sieht sich die KI an: Eines, das etwas anderes oder die Sache schlecht zeigt, wird nach hinten gestellt oder ersetzt.
Originaltitel: Gemma 2 9B and 27B Released
Googles Leistungsdiagramm aus dem Launch-Beitrag; "-" bedeutet nicht angegeben[1].
| Benchmark (Metrik) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |