เปิดตัว Llama 3.3 70B

• Meta เปิดตัว Llama 3.3 70B เมื่อวันที่ 6 ธันวาคม 2024 ราวสี่เดือนครึ่งหลัง Llama 3.1 เป็นโมเดล 70B ที่ปรับด้วยคำสั่ง รับและให้ข้อความ ซึ่ง Meta ระบุว่า 'ให้ประสิทธิภาพของโมเดล Llama ที่ใหญ่ที่สุดของ Meta คือ Llama 3.1 405B ด้วยต้นทุนที่ต่ำกว่า' โดยรองประธานด้าน Generative AI อาห์หมัด อัล-ดาห์เล กล่าวว่า 'ปรับปรุงประสิทธิภาพหลักด้วยต้นทุนที่ต่ำลงอย่างมาก'^[1][5]
• วางจำหน่ายเป็นโมเดล 70B เดียว เทรนล่วงหน้าด้วยโทเค็นราว 15 ล้านล้านโทเค็นจากแหล่งข้อมูลสาธารณะที่มีข้อมูลถึงเดือนธันวาคม 2023 และ Meta ปรับละเอียดด้วยข้อมูลคำสั่งสาธารณะบวกตัวอย่างสังเคราะห์กว่า 25M ตัวอย่าง โดยใช้ SFT และ RLHF โดย Meta ระบุว่าใช้เวลา GPU H100-80GB รวม 7.0M ชั่วโมง^[1][4]
• ในตารางของ Meta สำหรับโมเดลที่ปรับด้วยคำสั่ง รุ่นนี้เท่ากับ Llama 3.1 70B บน MMLU (CoT, 86.0) และเหนือกว่าบน MMLU Pro (68.9 เทียบกับ 66.4), IFEval (92.1 เทียบกับ 87.5), HumanEval (88.4 เทียบกับ 80.5), MATH (77.0 เทียบกับ 68.0) และ MGSM (91.1 เทียบกับ 86.9) ส่วน IFEval, MATH และ GPQA Diamond (50.5 เทียบกับ 49.0) ก็นำ 405B เล็กน้อยด้วย^[1][4]
• เมื่อเทียบกับคู่แข่งแบบปิดในแผนภูมิของ Meta รุ่นนี้นำ GPT-4o บน IFEval (92.1 เทียบกับ 84.6), HumanEval (88.4 เทียบกับ 86.0) และ MATH (77.0 เทียบกับ 76.9) แต่ตามหลังบน MMLU Pro (68.9 เทียบกับ 73.8) และ Claude 3.5 Sonnet กับ Gemini 1.5 Pro ยังนำในหลายแถวด้านการเขียนโค้ดและคณิตศาสตร์^[2][3]
• แถวต้นทุนในแผนภูมิเดียวกันคือจุดขาย: $0.1 ต่อหนึ่งล้านโทเค็นอินพุต และ $0.4 ต่อหนึ่งล้านโทเค็นเอาต์พุต ซึ่งเป็นราคาผู้ให้บริการที่ถูกที่สุด เทียบกับ $2.5 และ $10 ของ GPT-4o, $3 และ $15 ของ Claude 3.5 Sonnet, $0.80 และ $3.20 ของ Amazon Nova Pro และ $1.0 และ $1.8 ของ Llama 3.1 405B ส่วน OpenRouter ปัจจุบันระบุที่ $0.22 และ $0.50^[2][6]
• เผยแพร่ภายใต้ Llama 3.3 Community License ซึ่งให้แพลตฟอร์มที่มีผู้ใช้รายเดือนเกิน 700 ล้านคนขอใบอนุญาตพิเศษ TechCrunch รายงานว่า Llama มียอดดาวน์โหลดเกิน 650 ล้านครั้ง Meta AI มีผู้ใช้รายเดือนเกือบ 600 ล้านคน และซักเคอร์เบิร์กกล่าวว่าการเทรน Llama 4 จะใช้พลังประมวลผลมากกว่า Llama 3 ถึง 10x โดย Meta จัดหาคลัสเตอร์ GPU ของ Nvidia กว่า 100,000 ตัวไว้แล้ว^[4][5]

ฟีเจอร์เด่น

• บริบท 128k โทเค็น, grouped-query attention, เอาต์พุตข้อความและโค้ดหลายภาษา ภาษาที่รองรับอย่างเป็นทางการแปดภาษาคืออังกฤษ เยอรมัน ฝรั่งเศส อิตาลี โปรตุเกส ฮินดี สเปน และไทย แม้การเทรนจะครอบคลุมมากกว่านั้น^[4]
• รองรับเฉพาะข้อความ: ไม่รับภาพ ต่างจากโมเดลด้านภาพ Llama 3.2 ที่ Meta เปิดตัวในเดือนกันยายน^[4]
• Llama 3.3 ยังอนุญาตตามใบอนุญาตให้นำเอาต์พุตไปใช้ปรับปรุงโมเดลอื่น รวมถึงการสร้างข้อมูลสังเคราะห์และการกลั่นความรู้^[4]
• ช่องทางเผยแพร่: Hugging Face (ต้องขอสิทธิ์เข้าถึง), llama.com และ GitHub ของ Meta, Ollama (`ollama pull llama3.3:70b` ขนาดราว 42 GB), Groq และผู้ให้บริการโฮสต์อย่าง Deep Infra, Hyperbolic, Fireworks และ Together AI^[3][5]
• Meta อธิบายว่าให้การอนุมานที่คุ้มค่า และสามารถรันในเครื่องบนเวิร์กสเตชันของนักพัฒนาทั่วไปได้^[2]

เบนช์มาร์กของ Meta สำหรับโมเดลที่ปรับด้วยคำสั่ง^[4]