- เริ่ม
- 25 ก.ย. 2024ความเชื่อมั่น 90%แหล่งที่มา
เปิดตัว Llama 3.2 1B, 3B, 11B และ 90B
แปลอัตโนมัติจากต้นฉบับ
ชื่อต้นฉบับ: Llama 3.2 1B, 3B, 11B and 90B Released
Meta เปิดตัว Llama 3.2 ในงาน Connect 2024 ประกอบด้วยโมเดลข้อความขนาดเบา 1B และ 3B สำหรับโทรศัพท์และอุปกรณ์เอดจ์ และโมเดลวิชัน 11B และ 90B ซึ่งเป็น Llama แบบมัลติโมดัลรุ่นแรกของบริษัท ทั้งหมดมีบริบท 128K และน้ำหนักแบบเปิด โดยโมเดลวิชันไม่เปิดให้บริการในยุโรป
- Meta เปิดตัว Llama 3.2 เมื่อวันที่ 25 กันยายน 2024 ในงาน Connect ได้แก่ 'LLM ด้านภาพขนาดเล็กและขนาดกลาง (11B และ 90B)' และ 'โมเดลน้ำหนักเบาที่รองรับเฉพาะข้อความ (1B และ 3B)' ที่ทำงานบนโทรศัพท์และอุปกรณ์เอดจ์ได้ โดยแต่ละรุ่นมีทั้งแบบเทรนล่วงหน้าและแบบปรับด้วยคำสั่ง[1][4]
- เป็นตระกูล Llama แรกที่มีความสามารถด้านภาพ มาถึงหลัง Llama 3.1 เพียงกว่าสองเดือนเล็กน้อย ซักเคอร์เบิร์กเรียกว่า 'โมเดลมัลติโมดัลโอเพนซอร์สรุ่นแรกของเรา' และเรียกโอเพนซอร์สว่า 'Linux แห่งวงการ AI' ส่วน VentureBeat รายงานว่า Meta ระบุว่าการใช้งาน Llama เพิ่มขึ้น 10x นับตั้งแต่ 3.1[1][5]
- Meta อ้างว่าโมเดลด้านภาพแข่งขันได้กับ Claude 3 Haiku และ GPT-4o-mini ในการจดจำภาพและความเข้าใจด้านภาพ รุ่น 3B เหนือกว่า Gemma 2 2.6B และ Phi 3.5-mini ในการทำตามคำสั่ง การสรุป การเขียนพรอมต์ใหม่ และการใช้เครื่องมือ และรุ่น 1B แข่งขันกับ Gemma ได้ โดยข้ออ้างเหล่านี้อิงจากชุดข้อมูลเบนช์มาร์กกว่า 150 ชุดที่ Meta รันเอง[1][5]
- โมเดลขนาดเล็กสร้างด้วยการตัดแต่ง (pruning) และการกลั่นความรู้ โดยการ์ดโมเดลระบุว่าใช้ลอจิตของ Llama 3.1 8B และ 70B เป็นเป้าหมายระดับโทเค็นในการเทรนล่วงหน้ากับโทเค็นสูงสุด 9T และการกลั่นความรู้ช่วยฟื้นคุณภาพหลังการตัดแต่ง จากนั้นจึงจบด้วย SFT การสุ่มแบบปฏิเสธ และ DPO หลายรอบ[2]
- รุ่น 11B และ 90B คือโมเดลข้อความ Llama 3.1 บวกอะแดปเตอร์ด้านภาพแบบ cross-attention ที่เทรนแยกต่างหากด้วยคู่ภาพ-ข้อความ 6 พันล้านคู่ และใช้แทน 3.1 ในงานข้อความได้ทันที ส่วนการรองรับภาพร่วมกับข้อความมีเฉพาะภาษาอังกฤษ[3][4]
- ยุโรปคืออุปสรรค: Meta ไม่นำรุ่น 11B และ 90B เข้าสู่สหภาพยุโรป โดยโทษว่าสภาพแวดล้อมด้านกฎระเบียบ 'คาดเดาไม่ได้' ซึ่งทำให้ฟีเจอร์ภาพบางอย่างของ Meta AI ถูกปิดที่นั่นด้วย ขณะที่รุ่น 1B และ 3B เปิดตัวในยุโรป[4]
- การให้สิทธิ์แบบเปิดยังคงอยู่ภายใต้ Llama 3.2 Community License โดยแพลตฟอร์มที่มีผู้ใช้รายเดือนเกิน 700 ล้านคนต้องขอใบอนุญาตพิเศษจาก Meta[2][4]
ฟีเจอร์เด่น
- ทั้งสี่ขนาดรองรับบริบท 128K โทเค็น (โมเดลเล็กที่ผ่านการควอนไทซ์รองรับ 8K) หรือราว 100,000 คำในคราวเดียว[1][2][4]
- พันธมิตรกว่า 25 รายพร้อมให้บริการตั้งแต่วันแรก อาทิ AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud และ Snowflake โดยมี Arm, MediaTek และ Qualcomm ฝั่งอุปกรณ์[1]
- มีการเปิดตัวดิสทริบิวชัน Llama Stack สำหรับใช้งานแบบโหนดเดียว ภายในองค์กร คลาวด์ และบนอุปกรณ์ควบคู่กัน (PyTorch ExecuTorch บนอุปกรณ์ และ Ollama สำหรับโหนดเดียว)[1]
- มาตรการป้องกัน: Llama Guard 3 11B Vision สำหรับอินพุตข้อความและภาพ และ Llama Guard 3 1B ที่ผ่านการตัดแต่งและควอนไทซ์จาก 2,858 MB เหลือ 438 MB[1]
- ตามมาด้วยรุ่น 1B และ 3B ที่ควอนไทซ์ (SpinQuant และ QLoRA) พร้อมบริบท 8K และการ์ดโมเดลข้อความได้รับการอัปเดตเมื่อวันที่ 24 ตุลาคม 2024[2]
- OpenRouter ระบุราคารุ่น 1B ที่ $0.027 ต่อหนึ่งล้านโทเค็นอินพุต และ $0.201 ต่อหนึ่งล้านโทเค็นเอาต์พุต ส่วนรุ่น 3B ที่ $0.05 และ $0.33[6]
เบนช์มาร์กของ Meta สำหรับโมเดลที่ปรับด้วยคำสั่ง[2][3]
| เกณฑ์มาตรฐาน | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | ไม่มีข้อมูล | ไม่มีข้อมูล |
| IFEval | 59.5 | 77.4 | 80.4 | ไม่มีข้อมูล | ไม่มีข้อมูล |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | ไม่มีข้อมูล | ไม่มีข้อมูล |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | ไม่มีข้อมูล | ไม่มีข้อมูล |
| ARC-C | 59.4 | 78.6 | 83.4 | ไม่มีข้อมูล | ไม่มีข้อมูล |
| BFCL V2 | 25.7 | 67.0 | 67.1 | ไม่มีข้อมูล | ไม่มีข้อมูล |
| MMMU (val, CoT) | ไม่มีข้อมูล | ไม่มีข้อมูล | ไม่มีข้อมูล | 50.7 | 60.3 |
| MathVista (testmini) | ไม่มีข้อมูล | ไม่มีข้อมูล | ไม่มีข้อมูล | 51.5 | 57.3 |
| ChartQA (test, CoT) | ไม่มีข้อมูล | ไม่มีข้อมูล | ไม่มีข้อมูล | 83.4 | 85.5 |
| AI2 Diagram (test) | ไม่มีข้อมูล | ไม่มีข้อมูล | ไม่มีข้อมูล | 91.1 | 92.3 |
| DocVQA (test) | ไม่มีข้อมูล | ไม่มีข้อมูล | ไม่มีข้อมูล | 88.4 | 90.1 |
| VQAv2 (test) | ไม่มีข้อมูล | ไม่มีข้อมูล | ไม่มีข้อมูล | 75.2 | 78.1 |
ซื้อที่Meta AI