Выпущены Granite 3.0 8B и 2B

• IBM анонсировала Granite 3.0 21 октября 2024 года на ежегодном мероприятии TechXchange, назвав его самым передовым семейством моделей ИИ на сегодняшний день и третьим поколением Granite; все модели распространяются по либеральной лицензии Apache 2.0^[1]
• Флагманские языковые модели — Granite 3.0 8B и 2B, каждая в версиях Instruct и Base; в семейство также вошли модели безопасности Granite Guardian 3.0 8B и 2B и четыре модели со смесью экспертов, 3B-A800M и 1B-A400M, каждая в версиях Instruct и Base^[1][2]
• По словам IBM, 8B Instruct обучалась более чем на 12 триллионах токенов на 12 естественных языках и 116 языках программирования, а технический отчёт и руководство по ответственному использованию описывают наборы данных и этапы фильтрации^[1][2][4]
• IBM сообщает, что Granite 3.0 8B Instruct опережает средний результат открытых моделей схожего размера от Meta и Mistral на Hugging Face OpenLLM Leaderboard и на собственном бенчмарке безопасности AttaQ; это сравнения, проведённые самим вендором^[1][2]
• Maginative отмечает, что модели не нацелены на передовые системы вроде GPT-4 или Claude Opus: самая большая имеет 8B, то есть это небольшие языковые модели, предназначенные для дообучения на данных компании^[4]

Заметные особенности

• Модели со смесью экспертов для развёртывания на CPU и на периферии: у Granite 3.0 3B-A800M 3B параметров всего и 800M активных при 40 экспертах, у 1B-A400M — 1B всего и 400M активных при 32 экспертах; обе направляют запрос к 8 лучшим^[2]
• Granite Guardian 3.0 проверяет входные и выходные данные моделей на риски, такие как джейлбрейк, предвзятость и галлюцинации RAG; IBM сообщает о среднем приросте в 4 пункта F1 по сравнению с Llama Guard 3 8B на публичных бенчмарках обнаружения рисков^[2]
• Ускоритель спекулятивного декодирования для 8B Instruct, который, по заявлению IBM, даёт ускорение на 220% по числу токенов за шаг^[2]
• Модель Granite Time Series, которая, по словам IBM, достигла уровня state-of-the-art в прогнозировании zero-shot и few-shot, превзойдя модели в десять раз крупнее^[1]
• IBM предоставляет защиту интеллектуальной собственности для моделей Granite на watsonx.ai и заявила, что Granite станет моделью по умолчанию на её платформе поставки Consulting Advantage, которой пользуются 160 000 консультантов^[1]