Первая запись — всегда источник пина. Общая достоверность — это взвешенное среднее того, насколько каждый источник подтверждает указанные выше время начала и окончания; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новым.
Публикация Google «Gemma 2 теперь доступна исследователям и разработчикам» датирована 27 июня 2024 года (авторы Clement Farabet и Tris Warkentin), и Maginative[5] осветил её в тот же день; репозитории на Hugging Face[4][6] были созданы 24 июня под эмбарго, а технический отчёт появился на arXiv[2] 31 июля 2024 года.
Gemma 2 technical report (v1 31 July 2024): 2B to 27B models with alternating local-global attention and grouped-query attention, 2B and 9B trained by knowledge distillation, 27B on 13T tokens and 9B on 8T; LMSYS Chatbot Arena Elo 1218 for the 27B and 1187 for the 9B.[1]
OpenRouter listing (read from its models API): Google: Gemma 2 27B, added 13 July 2024, 8,192-token context, $0.65 per million input and output tokens.
Model card (gated): text-to-text decoder-only English model, 13 trillion training tokens for the 27B and 8 trillion for the 9B, Gemma license, pretrained benchmark table with MMLU 75.2, HellaSwag 86.4, GSM8K 74.0 and HumanEval 51.8 for the 27B.[1]
Maginative (Chris McKay), 27 June 2024: Gemma 2 9B and 27B released, 27B competitive with proprietary models more than twice its size and approaching Llama 3 70B and Claude 3 Sonnet, single TPU host, A100 80GB or H100, commercially friendly license, available in Google AI Studio and on Kaggle and Hugging Face[4][6].
Чего-то не хватает или есть ошибка? Напишите своими словами: ссылку, подтверждающую этот пин, другую дату начала или окончания и почему, или факт, которого нет или который неверен. ИИ сверит это с источниками пина, поищет лучшие и добавит любую страницу, которая вас подтверждает. Собственные источники пина всё равно весят больше всего. Изображение, на котором показано что-то другое или показано плохо, тоже проверяется и опускается ниже или заменяется.
Оригинальное название: Gemma 2 9B and 27B Released
График производительности Google из анонса; «-» означает, что значение не приводится[1].
| Бенчмарк (метрика) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |