مؤكدالثقة بالتاريخ: مؤكدمذكور على أنه قطعيمدى حزم المصدر في صياغة التاريخ: مؤكد أو مجدول أو تقديري أو متأخر أو غير موثّق.عرض كل الدبابيس: مؤكدثقة 89%الثقة الإجمالية: 89%مدى دعم مصدر الدبوس ومراجعه لتواريخه.متوسط مرجّح لمدى قوة دعم 6 مراجع، بما فيها المصدر، لوقتَي بدء الدبوس وانتهائه؛ ويقل وزن المرجع إلى النصف عن كل 180 يومًا يسبق بها أحدث مرجععرض كل الدبابيس بثقة 75% أو أعلى
يحمل منشور Google بعنوان «Gemma 2 متاح الآن للباحثين والمطورين» تاريخ 27 يونيو 2024 (بتوقيع Clement Farabet وTris Warkentin) وقد غطّته Maginative[5] في اليوم نفسه؛ وأُنشئت مستودعات Hugging Face[4][6] في 24 يونيو تحت حظر النشر، وتلاه التقرير التقني على arXiv[2] في 31 يوليو 2024.إطلاق Gemma 2 بحجمَي 9B و27B
تُرجم تلقائيًا من الأصل
العنوان الأصلي: Gemma 2 9B and 27B Released
تطلق Google نموذج Gemma 2، الجيل الثاني من نماذجها اللغوية مفتوحة الأوزان، بحجمَي 9B و27B؛ وتقول Google إن نموذج 27B هو الأفضل في فئته من حيث الحجم ويعمل بدقة كاملة على وحدة معالجة رسومية H100 واحدة أو مضيف TPU.
- أطلقت Google نموذج Gemma 2 في 27 يونيو 2024 بحجمَي 9B و27B، وهو الجيل الثاني من النماذج مفتوحة الأوزان المبنية على البحث والتقنية نفسهما اللذين بُني عليهما Gemini، مع إتاحة الأوزان على Kaggle وHugging Face، فيما أُدرجت التجربة المجانية لنموذج 27B في Google AI Studio وVertex AI Model Garden على أنها قادمة قريبًا[1][5]
- وصفت Google نموذج 27B بأنه الأفضل في فئته من حيث الحجم، بأداء ينافس نماذج أكبر منه بأكثر من الضعف، وقالت إن 9B يتفوق على Llama 3 8B ونماذج مفتوحة أخرى في فئته؛ ويقول التقرير التقني إن نموذجَي 2B و9B "بدائل منافسة لنماذج أكبر منهما بمقدار 2-3 x"[1][2][5]
- في مخطط Google يحقق 27B نتيجة 75.2 في MMLU (Llama 3 70B بـ 79.5 وLlama 3 8B بـ 66.6)، و74.9 في BBH (70B بـ 81.3)، و74.0 في GSM8K، و42.3 في MATH، و51.8 في HumanEval، بينما يحقق 9B نتيجة 71.3 في MMLU و40.2 في HumanEval[1][4]
- في تقييم Chatbot Arena الوارد في التقرير التقني بلغ gemma-2-27b-it تصنيف Elo قدره 1218، متجاوزًا 1206 لـ Llama 3 70B، وبلغ 9B نحو 1187، قريبًا من 1186 لـ GPT-4-0314[2]
- صُمم 27B لتشغيل الاستدلال بدقة كاملة على مضيف TPU واحد من Google Cloud أو NVIDIA A100 80GB أو H100؛ وأدرجت OpenRouter لاحقًا Gemma 2 27B بسعر $0.65 لكل مليون رمز إدخال وإخراج مع سياق بحجم 8,192 رمز[1][6]
الميزات البارزة
- البنية: انتباه محلي بنافذة منزلقة (4,096 رمز) يتناوب مع انتباه عام (8,192 رمز) في كل طبقة ثانية، وانتباه الاستعلامات المجمَّعة، وتحديد ناعم للوجيتات، ومفردات بحجم 256K رمز، للنص فقط وبالإنجليزية بالدرجة الأولى[2]
- التدريب: دُرِّب 27B على 13 تريليون رمز و9B على 8 تريليونات، مع تدريب نموذجَي 2B و9B بتقطير المعرفة من معلّم أكبر بدلًا من التنبؤ العادي بالرمز التالي، بينما دُرِّب 27B من الصفر[2][4]
- صدر بموجب ترخيص Gemma الملائم للاستخدام التجاري، ويدعمه Hugging Face Transformers وJAX وPyTorch وTensorFlow عبر Keras 3 وvLLM وGemma.cpp وLlama.cpp وOllama، مع تحسين عبر NVIDIA TensorRT-LLM[1][5]
- صدر مع Responsible Generative AI Toolkit وأداة LLM Comparator مفتوحة المصدر، مع خطط لفتح مصدر العلامة المائية النصية SynthID لنموذج Gemma[1]
المعايير
مخطط الأداء من Google في منشور الإطلاق؛ "-" تعني غير مُبلَّغ عنه[1].
| الاختبار المرجعي (المقياس) | Gemma 2 9B | Gemma 2 27B | Llama 3 8B | Llama 3 70B | Grok-1 314B |
|---|---|---|---|---|---|
| MMLU (5-shot, top-1) | 71.3 | 75.2 | 66.6 | 79.5 | 73.0 |
| BBH (3-shot, CoT) | 68.2 | 74.9 | 61.1 | 81.3 | - |
| HellaSwag (10-shot) | 81.9 | 86.4 | 82 | - | - |
| GSM8K (5-shot, maj@1) | 68.6 | 74.0 | 45.7 | - | 62.9 (8-shot) |
| MATH (4-shot) | 36.6 | 42.3 | - | - | 23.9 |
| HumanEval (pass@1) | 40.2 | 51.8 | - | - | 63.2 (0-shot) |