مؤكدالثقة بالتاريخ: مؤكدمذكور على أنه قطعيمدى حزم المصدر في صياغة التاريخ: مؤكد أو مجدول أو تقديري أو متأخر أو غير موثّق.عرض كل الدبابيس: مؤكدثقة 84%الثقة الإجمالية: 84%مدى دعم مصدر الدبوس ومراجعه لتواريخه.متوسط مرجّح لمدى قوة دعم 6 مراجع، بما فيها المصدر، لوقتَي بدء الدبوس وانتهائه؛ ويقل وزن المرجع إلى النصف عن كل 180 يومًا يسبق بها أحدث مرجععرض كل الدبابيس بثقة 75% أو أعلى
منشور Meta[1] بعنوان 'Introducing Llama 3.1: Our most capable models to date' مؤرخ في 23 يوليو 2024 ويذكر أن النماذج أصبحت متاحة للتنزيل في ذلك اليوم؛ وتحمل رسالة زوكربيرغ المفتوحة وتقرير TechCrunch[6] التاريخ نفسه.إطلاق Llama 3.1 8B و70B و405B
تُرجم تلقائيًا من الأصل
العنوان الأصلي: Llama 3.1 8B, 70B and 405B Released
تطلق Meta نموذج Llama 3.1 بأحجام 8B و70B و405B مع نافذة سياق 128K؛ ويوصف النموذج 405B، المدرَّب على أكثر من 15 تريليون رمز، بأنه أول نموذج مفتوح بمستوى الحدود المتقدمة، وهو متاح للتنزيل مجانًا.
- أطلقت Meta نموذج Llama 3.1 في 23 يوليو 2024 بثلاثة أحجام: 8B و70B محدَّثان و405B جديد وصفته بأنه أول نموذج ذكاء اصطناعي مفتوح المصدر بمستوى الحدود المتقدمة، مع أوزان متاحة للتنزيل مجانًا من llama.meta.com وHugging Face[1][5]
- جاء بعد ثلاثة أشهر من Llama 3 (18 أبريل 2024، 8B و70B) ويحمل نافذة سياق من 128K رمز[1][3]
- دُرّب 405B على أكثر من 15 تريليون رمز باستخدام أكثر من 16,000 وحدة H100، كمحوّل كثيف قياسي بوحدة فك ترميز فقط وليس مزيجًا من الخبراء؛ وتحصي بطاقة Meta نحو 39.3M ساعة معالج رسومي عبر الأحجام الثلاثة، منها 30.84M لـ 405B[1][2][6]
- قيّمت Meta النموذج على أكثر من 150 مجموعة بيانات معيارية إضافة إلى تقييمات بشرية ووصفت 405B بأنه منافس لـ GPT-4 وGPT-4o وClaude 3.5 Sonnet؛ وقراءة TechCrunch أنه على قدم المساواة مع GPT-4 ومتفاوت أمام GPT-4o وClaude 3.5 Sonnet، ومتأخر عن Claude في البرمجة والاستدلال العام[1][6]
- تغيّر الترخيص للسماح للمطورين باستخدام مخرجات Llama، ومنها مخرجات 405B، لتحسين نماذج أخرى (التقطير والبيانات الاصطناعية)، فيما لا تزال التطبيقات التي يزيد مستخدموها الشهريون على 700 مليون تحتاج إلى ترخيص خاص[1][2][6]
- يُعد 8B النموذج الصغير المعروض في الرسم: يحقق 69.4 في MMLU و72.6 في HumanEval و84.5 في GSM-8K كنموذج instruct، مقابل 87.3 و89.0 و96.8 لـ 405B[2]
الميزات البارزة
- سياق 128K وثماني لغات مدعومة، مع استخدام الأدوات وقابلية التوجيه والرياضيات والترجمة واستدعاء الدوال مدمجة[1][6]
- يُكمَّم 405B من BF16 بدقة 16 بت إلى FP8 بدقة 8 بت ليعمل داخل عقدة خادم واحدة[1]
- أدوات السلامة والأدوات المساندة التي صدرت معه: Llama Guard 3 (متعدد اللغات)، وPrompt Guard ضد حقن الأوامر، ونظام مرجعي، وواجهات Llama Stack القياسية كطلب للتعليقات[1]
- أطلق أكثر من 25 شريكًا خدمات في اليوم الأول، منهم AWS وNVIDIA وDatabricks وGroq وDell وAzure وGoogle Cloud وSnowflake؛ وقالت Meta إن Llama تجاوز 300 مليون تنزيل، كما شغّل 405B أيضًا Meta AI في WhatsApp لمستخدمي الولايات المتحدة[1][6]
- تجادل رسالة زوكربيرغ بأن المصدر المفتوح ينتصر لأن المطورين يستطيعون ضبط النماذج وتقطيرها وتشغيلها بأنفسهم، وتقدّر تكلفة الاستدلال على 405B بنحو نصف تكلفة GPT-4o[5]
المعايير[2]
| المعيار | Llama 3.1 8B Instruct | Llama 3.1 70B Instruct | Llama 3.1 405B Instruct |
|---|---|---|---|
| MMLU (5-shot) | 69.4 | 83.6 | 87.3 |
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 88.6 |
| MMLU-Pro (CoT, 5-shot) | 48.3 | 66.4 | 73.3 |
| IFEval | 80.4 | 87.5 | 88.6 |
| ARC-C (0-shot) | 83.4 | 94.8 | 96.9 |
| GPQA (0-shot) | 30.4 | 46.7 | 50.7 |
| HumanEval (pass@1) | 72.6 | 80.5 | 89.0 |
| MBPP++ base (pass@1) | 72.8 | 86.0 | 88.6 |
| MultiPL-E HumanEval (pass@1) | 50.8 | 65.5 | 75.2 |
| MultiPL-E MBPP (pass@1) | 52.4 | 62.0 | 65.7 |
| GSM-8K (CoT, 8-shot) | 84.5 | 95.1 | 96.8 |
| MATH (CoT, 0-shot) | 51.9 | 68.0 | 73.8 |
| API-Bank (0-shot) | 82.6 | 90.0 | 92.0 |
| BFCL (0-shot) | 76.1 | 84.8 | 88.5 |
| Gorilla API-Bench (0-shot) | 8.2 | 29.7 | 35.3 |
| Nexus (0-shot) | 38.5 | 56.7 | 58.7 |
| Multilingual MGSM (CoT, 0-shot) | 68.9 | 86.9 | 91.6 |
اشترِ منMeta AI