เปิดตัว Granite 3.0 8B และ 2B

• IBM ประกาศ Granite 3.0 เมื่อวันที่ 21 ตุลาคม 2024 ในงาน TechXchange ประจำปี โดยเรียกว่าเป็นตระกูลโมเดล AI ที่ก้าวหน้าที่สุดของบริษัทจนถึงปัจจุบันและเป็น Granite รุ่นที่สาม โดยทุกโมเดลอยู่ภายใต้สัญญาอนุญาต Apache 2.0 ที่ผ่อนปรน^[1]
• โมเดลภาษาหลักคือ Granite 3.0 8B และ 2B โดยแต่ละรุ่นมีทั้งแบบ Instruct และ Base ตระกูลนี้ยังเพิ่มโมเดลความปลอดภัย Granite Guardian 3.0 8B และ 2B และโมเดล mixture-of-experts สี่ตัวคือ 3B-A800M และ 1B-A400M ซึ่งแต่ละตัวมีทั้งแบบ Instruct และ Base^[1][2]
• IBM ระบุว่า 8B Instruct ถูกฝึกด้วยโทเค็นมากกว่า 12 ล้านล้านโทเค็นครอบคลุม 12 ภาษาธรรมชาติและ 116 ภาษาโปรแกรม และรายงานทางเทคนิคกับคู่มือการใช้งานอย่างรับผิดชอบอธิบายชุดข้อมูลและขั้นตอนการกรอง^[1][2][4]
• IBM รายงานว่า Granite 3.0 8B Instruct มีผลดีกว่าค่าเฉลี่ยของโมเดลเปิดขนาดใกล้เคียงกันจาก Meta และ Mistral บน Hugging Face OpenLLM Leaderboard และบนเกณฑ์วัดความปลอดภัย AttaQ ของ IBM เอง ซึ่งเป็นการเปรียบเทียบที่ผู้จำหน่ายดำเนินการเอง^[1][2]
• Maginative ชี้ว่าโมเดลเหล่านี้ไม่ได้มุ่งเป้าไปที่ระบบแนวหน้าอย่าง GPT-4 หรือ Claude Opus เพราะตัวใหญ่สุดคือ 8B จึงเป็นโมเดลภาษาขนาดเล็กที่สร้างมาเพื่อปรับแต่งด้วยข้อมูลของบริษัท^[4]

คุณสมบัติเด่น

• โมเดล mixture-of-experts สำหรับการใช้งานบน CPU และ edge: Granite 3.0 3B-A800M มีพารามิเตอร์รวม 3B และแอ็กทีฟ 800M พร้อม 40 experts ส่วน 1B-A400M มีรวม 1B และแอ็กทีฟ 400M พร้อม 32 experts โดยทั้งคู่ส่งไปยัง 8 อันดับแรก^[2]
• Granite Guardian 3.0 ตรวจสอบอินพุตและเอาต์พุตของโมเดลเพื่อหาความเสี่ยง เช่น jailbreaking อคติ และภาพหลอนของ RAG IBM รายงานว่าคะแนน F1 เฉลี่ยสูงกว่า Llama Guard 3 8B 4 จุดบนเกณฑ์วัดการตรวจจับความเสี่ยงสาธารณะ^[2]
• ตัวเร่ง speculative decoding สำหรับ 8B Instruct ที่ IBM ระบุว่าเพิ่มความเร็ว 220% ในจำนวนโทเค็นต่อขั้นตอน^[2]
• โมเดล Granite Time Series ที่ IBM ระบุว่าทำผลงานระดับสูงสุดในการพยากรณ์แบบ zero-shot และ few-shot และทำได้ดีกว่าโมเดลที่ใหญ่กว่าสิบเท่า^[1]
• IBM ให้การคุ้มครองด้านทรัพย์สินทางปัญญาสำหรับโมเดล Granite บน watsonx.ai และกล่าวว่า Granite จะเป็นโมเดลเริ่มต้นของแพลตฟอร์มส่งมอบ Consulting Advantage ซึ่งมีที่ปรึกษาใช้งาน 160,000 คน^[1]