DIKONFIRMASIKeyakinan tanggal: DIKONFIRMASIDinyatakan pastiSeberapa tegas sumber menyebutkan tanggalnya: dikonfirmasi, dijadwalkan, diperkirakan, tertunda, atau belum diverifikasi.Tampilkan semua pin DIKONFIRMASIKEYAKINAN 89%Keyakinan keseluruhan: 89%Seberapa baik sumber dan referensi pin mendukung tanggalnya.Rata-rata tertimbang dari seberapa kuat 6 referensi, termasuk sumber, mendukung waktu mulai dan berakhir pin; bobot sebuah referensi berkurang setengahnya untuk setiap 180 hari lebih lama dari yang terbaruTampilkan semua pin dengan keyakinan 75% atau lebih tinggi
Unggahan Google "Gemma 2 kini tersedia bagi peneliti dan pengembang" bertanggal 27 Juni 2024 (ditulis oleh Clement Farabet dan Tris Warkentin) dan Maginative[5] meliputnya pada hari yang sama; repositori Hugging Face[4][6] dibuat pada 24 Juni di bawah embargo dan laporan teknis menyusul di arXiv[2] pada 31 Juli 2024.- Mulai
- 27 Jun 2024KEYAKINAN 90%dari sumbernya
Gemma 2 9B dan 27B Dirilis
Diterjemahkan otomatis dari aslinya
Judul asli: Gemma 2 9B and 27B Released
Google merilis Gemma 2, generasi kedua model bahasa bobot terbukanya, dalam ukuran 9B dan 27B; Google menyatakan 27B terbaik di kelasnya untuk ukurannya dan berjalan pada presisi penuh di satu GPU H100 atau host TPU.
- Google merilis Gemma 2 pada 27 Juni 2024 dalam ukuran 9B dan 27B, generasi kedua model bobot terbuka yang dibangun dari riset dan teknologi yang sama dengan Gemini, dengan bobot di Kaggle dan Hugging Face; uji coba gratis 27B di Google AI Studio dan Vertex AI Model Garden dicantumkan sebagai segera hadir[1][5]
- Google menyebut 27B sebagai yang terbaik di kelasnya untuk ukurannya, dengan kinerja yang bersaing dengan model yang lebih dari dua kali lebih besar, dan mengatakan 9B mengungguli Llama 3 8B serta model terbuka lain dalam kategorinya; laporan teknis menyebut 2B dan 9B sebagai "alternatif yang kompetitif untuk model yang 2-3 x lebih besar"[1][2][5]
- Pada bagan Google, 27B mendapat 75.2 di MMLU (Llama 3 70B 79.5, Llama 3 8B 66.6), 74.9 di BBH (70B 81.3), 74.0 di GSM8K, 42.3 di MATH dan 51.8 di HumanEval, sedangkan 9B mendapat 71.3 di MMLU dan 40.2 di HumanEval[1][4]
- Dalam evaluasi Chatbot Arena pada laporan teknis, gemma-2-27b-it mencapai Elo 1218, di atas 1206 milik Llama 3 70B, dan 9B mencapai 1187, mendekati 1186 milik GPT-4-0314[2]
- 27B dirancang untuk menjalankan inferensi pada presisi penuh di satu host Google Cloud TPU, NVIDIA A100 80GB, atau H100; OpenRouter kemudian mencantumkan Gemma 2 27B seharga $0.65 per juta token input dan output dengan konteks 8,192 token[1][6]
Fitur unggulan
- Arsitektur: atensi jendela geser lokal (4,096 token) bergantian dengan atensi global (8,192 token) pada setiap lapisan kedua, grouped-query attention, soft-capping logit, dan kosakata 256K token, hanya teks dan terutama berbahasa Inggris[2]
- Pelatihan: 27B dengan 13 triliun token dan 9B dengan 8 triliun, dengan model 2B dan 9B dilatih melalui distilasi pengetahuan dari model guru yang lebih besar alih-alih prediksi token berikutnya biasa, sedangkan 27B dilatih dari awal[2][4]
- Dirilis di bawah lisensi Gemma yang ramah komersial dan didukung oleh Hugging Face Transformers, JAX, PyTorch, dan TensorFlow melalui Keras 3, vLLM, Gemma.cpp, Llama.cpp, dan Ollama, dengan optimasi NVIDIA TensorRT-LLM[1][5]
- Dikirim bersama Responsible Generative AI Toolkit, LLM Comparator sumber terbuka, dan rencana untuk membuka sumber watermark teks SynthID untuk Gemma[1]
Benchmark
Bagan kinerja Google dari unggahan peluncuran; "-" berarti tidak dilaporkan[1].
| Tolok ukur (metrik) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |