إطلاق Llama 3.3 70B

• أصدرت Meta نموذج Llama 3.3 70B في 6 ديسمبر 2024، بعد نحو أربعة أشهر ونصف من Llama 3.1، وهو نموذج بحجم 70B مضبوط على التعليمات بمدخلات ومخرجات نصية، وتقول Meta إنه 'يقدم أداء أكبر نماذج Llama لدى Meta، Llama 3.1 405B، بتكلفة أقل'؛ وقال نائب الرئيس للذكاء الاصطناعي التوليدي أحمد الدحلة إنه 'يحسّن الأداء الأساسي بتكلفة أقل بكثير'^[1][5]
• يصدر كنموذج واحد بحجم 70B، دُرّب مسبقًا على نحو 15 تريليون رمز من مصادر عامة بتاريخ قطع في ديسمبر 2023، وضبطته Meta بدقة على بيانات تعليمات عامة وأكثر من 25M مثال اصطناعي باستخدام SFT وRLHF؛ وتذكر Meta أنه استهلك 7.0M ساعة معالج H100-80GB^[1][4]
• في جدول Meta الخاص بالنماذج المضبوطة على التعليمات، يعادل Llama 3.1 70B في MMLU (CoT، 86.0) ويتفوق عليه في MMLU Pro (68.9 مقابل 66.4) وIFEval (92.1 مقابل 87.5) وHumanEval (88.4 مقابل 80.5) وMATH (77.0 مقابل 68.0) وMGSM (91.1 مقابل 86.9)؛ وفي IFEval وMATH وGPQA Diamond (50.5 مقابل 49.0) يتقدم قليلًا حتى على نموذج 405B^[1][4]
• أمام المنافسين المغلقين في مخطط Meta، يتفوق على GPT-4o في IFEval (92.1 مقابل 84.6) وHumanEval (88.4 مقابل 86.0) وMATH (77.0 مقابل 76.9) لكنه يتأخر عنه في MMLU Pro (68.9 مقابل 73.8)، ويبقى Claude 3.5 Sonnet وGemini 1.5 Pro في المقدمة في عدة صفوف للبرمجة والرياضيات^[2][3]
• صف التكلفة في المخطط نفسه هو حجة البيع: $0.1 لكل مليون رمز إدخال و$0.4 لكل مليون رمز إخراج، وهو أرخص سعر بين المزودين، مقابل $2.5 و$10 لـ GPT-4o، و$3 و$15 لـ Claude 3.5 Sonnet، و$0.80 و$3.20 لـ Amazon Nova Pro، و$1.0 و$1.8 لـ Llama 3.1 405B؛ وتدرجه OpenRouter اليوم بسعر $0.22 و$0.50^[2][6]
• يصدر بموجب Llama 3.3 Community License التي تطلب من المنصات التي تتجاوز 700 مليون مستخدم شهريًا طلب ترخيص خاص؛ وأفادت TechCrunch بأن عدد تنزيلات Llama تجاوز 650 مليونًا، وأن Meta AI يقترب من 600 مليون مستخدم شهريًا، وأن زوكربيرغ قال إن تدريب Llama 4 سيتطلب 10x من حوسبة Llama 3، وأن Meta اقتنت عنقودًا يضم أكثر من 100,000 وحدة معالجة رسومية من Nvidia^[4][5]

الميزات البارزة

• سياق بطول 128k رمز، وانتباه الاستعلامات المجمّعة، ومخرجات نصية وبرمجية متعددة اللغات؛ واللغات الثماني المدعومة رسميًا هي الإنجليزية والألمانية والفرنسية والإيطالية والبرتغالية والهندية والإسبانية والتايلاندية، مع أن التدريب شمل لغات أكثر^[4]
• نص فقط: لا يقبل الصور، على عكس نماذج الرؤية Llama 3.2 التي أصدرتها Meta في سبتمبر^[4]
• كما يسمح Llama 3.3 بموجب ترخيصه باستخدام مخرجاته لتحسين نماذج أخرى، بما في ذلك توليد البيانات الاصطناعية والتقطير^[4]
• التوزيع: Hugging Face (بوصول مقيّد)، وموقع Meta llama.com وGitHub، وOllama (`ollama pull llama3.3:70b`، نحو 42 GB)، وGroq، ومزودو استضافة مثل Deep Infra وHyperbolic وFireworks وTogether AI^[3][5]
• تصفه Meta بأنه يوفر استدلالًا اقتصاديًا يمكن تشغيله محليًا على محطة عمل نموذجية للمطوّرين^[2]

اختبارات Meta المرجعية للنماذج المضبوطة على التعليمات^[4]