Phát hành Granite 3.0 8B và 2B

• IBM công bố Granite 3.0 vào ngày 21 tháng 10 năm 2024 tại sự kiện thường niên TechXchange, gọi đây là dòng mô hình AI tiên tiến nhất của hãng từ trước đến nay và là thế hệ thứ ba của Granite, với tất cả mô hình theo giấy phép Apache 2.0 dễ dãi^[1]
• Các mô hình ngôn ngữ chủ lực là Granite 3.0 8B và 2B, mỗi loại có bản Instruct và Base; dòng này còn bổ sung các mô hình an toàn Granite Guardian 3.0 8B và 2B cùng bốn mô hình hỗn hợp chuyên gia là 3B-A800M và 1B-A400M, mỗi loại có bản Instruct và Base^[1][2]
• IBM cho biết 8B Instruct được huấn luyện trên hơn 12 nghìn tỷ token thuộc 12 ngôn ngữ tự nhiên và 116 ngôn ngữ lập trình, và báo cáo kỹ thuật cùng hướng dẫn sử dụng có trách nhiệm mô tả các tập dữ liệu và bước lọc^[1][2][4]
• IBM báo cáo rằng Granite 3.0 8B Instruct vượt mức trung bình của các mô hình mở cùng kích cỡ từ Meta và Mistral trên Hugging Face OpenLLM Leaderboard và trên chuẩn đánh giá an toàn AttaQ của chính IBM; đây là các phép so sánh do nhà cung cấp tự thực hiện^[1][2]
• Maginative chỉ ra rằng các mô hình này không nhắm tới những hệ thống tiên phong như GPT-4 hay Claude Opus: mô hình lớn nhất là 8B, nên chúng là các mô hình ngôn ngữ nhỏ được xây dựng để tinh chỉnh trên dữ liệu của doanh nghiệp^[4]

Tính năng đáng chú ý

• Các mô hình hỗn hợp chuyên gia cho triển khai trên CPU và thiết bị biên: Granite 3.0 3B-A800M có tổng 3B tham số và 800M hoạt động với 40 chuyên gia, còn 1B-A400M có tổng 1B và 400M hoạt động với 32 chuyên gia, cả hai đều định tuyến tới 8 chuyên gia hàng đầu^[2]
• Granite Guardian 3.0 kiểm tra đầu vào và đầu ra của mô hình để phát hiện các rủi ro như jailbreak, thiên kiến và ảo giác RAG; IBM báo cáo mức tăng trung bình 4 điểm F1 so với Llama Guard 3 8B trên các chuẩn đánh giá phát hiện rủi ro công khai^[2]
• Bộ tăng tốc giải mã suy đoán cho 8B Instruct mà IBM cho biết mang lại mức tăng tốc 220% về số token mỗi bước^[2]
• Mô hình Granite Time Series mà IBM cho biết đạt mức tiên tiến nhất trong dự báo zero-shot và few-shot, đồng thời vượt các mô hình lớn gấp mười lần^[1]
• IBM cung cấp cam kết bồi thường về sở hữu trí tuệ cho các mô hình Granite trên watsonx.ai và cho biết Granite sẽ trở thành mô hình mặc định của nền tảng triển khai Consulting Advantage, được 160.000 chuyên gia tư vấn sử dụng^[1]