إطلاق Llama 3.2 بأحجام 1B و3B و11B و90B
تُرجم تلقائيًا من الأصل
العنوان الأصلي: Llama 3.2 1B, 3B, 11B and 90B Released
أطلقت Meta نماذج Llama 3.2 في Connect 2024: نماذج نصية خفيفة بحجم 1B و3B للهواتف وأجهزة الحافة، ونماذج رؤية بحجم 11B و90B هي أول نماذج Llama متعددة الوسائط لديها، وكلها بسياق 128K وأوزان مفتوحة؛ ولم تُتح نماذج الرؤية في أوروبا.
- أطلقت Meta نموذج Llama 3.2 في 25 سبتمبر 2024 خلال مؤتمر Connect: 'نماذج لغوية بصرية صغيرة ومتوسطة الحجم (11B و90B)' و'نماذج خفيفة للنص فقط (1B و3B)' تعمل على الهواتف والأجهزة الطرفية، وكل منها متاح بنسخة مدرَّبة مسبقًا وأخرى مضبوطة على التعليمات[1][4]
- كانت أول عائلة Llama تدعم الرؤية، وجاءت بعد أكثر من شهرين بقليل من Llama 3.1؛ ووصفها زوكربيرغ بأنها 'أول نموذج متعدد الوسائط مفتوح المصدر لدينا' ووصف المصدر المفتوح بأنه 'لينكس الذكاء الاصطناعي'، وأشارت VentureBeat إلى أن Meta قالت إن استخدام Llama نما بمقدار 10x منذ الإصدار 3.1[1][5]
- تزعم Meta أن نماذج الرؤية منافسة لـ Claude 3 Haiku وGPT-4o-mini في التعرف على الصور والفهم البصري، وأن نموذج 3B يتفوق على Gemma 2 2.6B وPhi 3.5-mini في اتباع التعليمات والتلخيص وإعادة صياغة الأوامر واستخدام الأدوات، وأن نموذج 1B منافس لـ Gemma؛ وتستند هذه الادعاءات إلى أكثر من 150 مجموعة بيانات معيارية شغّلتها Meta بنفسها[1][5]
- صُنعت النماذج الصغيرة بالتقليم والتقطير: تقول بطاقة النموذج إن لوجِتات Llama 3.1 8B و70B استُخدمت أهدافًا على مستوى الرمز في التدريب المسبق على ما يصل إلى 9T رمز، وإن تقطير المعرفة استعاد الجودة بعد التقليم، ثم أُنهيت بجولات من SFT والعينات المرفوضة وDPO[2]
- نموذجا 11B و90B هما نموذجا النص Llama 3.1 مضافًا إليهما محوّل رؤية بالانتباه المتقاطع دُرّب بشكل منفصل على 6 مليارات زوج من الصور والنصوص، ويمكنهما استبدال 3.1 مباشرة في النصوص؛ ودعم الصورة مع النص متاح بالإنجليزية فقط[3][4]
- كانت أوروبا العقبة: أبقت Meta نموذجي 11B و90B خارج الاتحاد الأوروبي محمّلةً المسؤولية لبيئة تنظيمية 'لا يمكن التنبؤ بها'، ما عطّل أيضًا بعض ميزات الصور في Meta AI هناك، بينما أُطلق نموذجا 1B و3B في أوروبا[4]
- استمر الترخيص المفتوح بموجب Llama 3.2 Community License، وتحتاج المنصات التي تتجاوز 700 مليون مستخدم شهريًا إلى ترخيص خاص من Meta[2][4]
الميزات البارزة
- تدعم الأحجام الأربعة كلها سياقًا بطول 128K رمز (والنماذج الصغيرة المكمّمة 8K)، أي نحو 100,000 كلمة دفعة واحدة[1][2][4]
- أطلق أكثر من 25 شريكًا خدماتهم منذ اليوم الأول، من بينهم AMD وAWS وDatabricks وDell وGoogle Cloud وGroq وIBM وIntel وMicrosoft Azure وNVIDIA وOracle Cloud وSnowflake، مع Arm وMediaTek وQualcomm على الأجهزة[1]
- وأُطلقت معها توزيعات Llama Stack للاستخدام على عقدة واحدة وفي المقر وفي السحابة وعلى الجهاز (PyTorch ExecuTorch على الجهاز وOllama للعقدة الواحدة)[1]
- الضمانات: Llama Guard 3 11B Vision لمدخلات النص والصورة، وLlama Guard 3 1B الذي جرى تقليمه وتكميمه من 2,858 MB إلى 438 MB[1]
- تبعتها نسخ مكمّمة من 1B و3B (SpinQuant وQLoRA) بسياق 8K، وجرى تحديث بطاقة النص في 24 أكتوبر 2024[2]
- تدرج OpenRouter نموذج 1B بسعر $0.027 لكل مليون رمز إدخال و$0.201 لكل مليون رمز إخراج، ونموذج 3B بسعر $0.05 و$0.33[6]
اختبارات Meta المرجعية للنماذج المضبوطة على التعليمات[2][3]
| المعيار | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | غير متاح | غير متاح |
| IFEval | 59.5 | 77.4 | 80.4 | غير متاح | غير متاح |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | غير متاح | غير متاح |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | غير متاح | غير متاح |
| ARC-C | 59.4 | 78.6 | 83.4 | غير متاح | غير متاح |
| BFCL V2 | 25.7 | 67.0 | 67.1 | غير متاح | غير متاح |
| MMMU (val, CoT) | غير متاح | غير متاح | غير متاح | 50.7 | 60.3 |
| MathVista (testmini) | غير متاح | غير متاح | غير متاح | 51.5 | 57.3 |
| ChartQA (test, CoT) | غير متاح | غير متاح | غير متاح | 83.4 | 85.5 |
| AI2 Diagram (test) | غير متاح | غير متاح | غير متاح | 91.1 | 92.3 |
| DocVQA (test) | غير متاح | غير متاح | غير متاح | 88.4 | 90.1 |
| VQAv2 (test) | غير متاح | غير متاح | غير متاح | 75.2 | 78.1 |
اشترِ منMeta AI