Granite 3.0 8B と 2B がリリース

• IBM は 2024年10月21日、年次イベント TechXchange で Granite 3.0 を発表した。同社はこれを最も高度な AI モデルファミリーであり Granite の第3世代と位置づけ、全モデルを寛容な Apache 2.0 ライセンスで提供する^[1]
• 主力の言語モデルは Granite 3.0 8B と 2B で、それぞれ Instruct 版と Base 版がある。ファミリーには Granite Guardian 3.0 8B と 2B の安全性モデルと、3B-A800M と 1B-A400M の4つの混合エキスパートモデル(それぞれ Instruct 版と Base 版)も加わる^[1][2]
• IBM によると、8B Instruct は12の自然言語と116のプログラミング言語にわたる12兆トークン超で学習されており、技術レポートと責任ある利用ガイドにデータセットとフィルタリング手順が記載されている^[1][2][4]
• IBM は、Granite 3.0 8B Instruct が Hugging Face OpenLLM Leaderboard および自社の AttaQ 安全性ベンチマークで、Meta や Mistral の同規模オープンモデルの平均を上回ると報告している。これらはベンダー自身による比較である^[1][2]
• Maginative は、これらのモデルが GPT-4 や Claude Opus のようなフロンティアシステムを狙ったものではないと指摘する。最大でも 8B であり、企業データでファインチューニングすることを想定した小型言語モデルである^[4]

主な特徴

• CPU やエッジ展開向けの混合エキスパートモデル:Granite 3.0 3B-A800M は総パラメータ 3B、アクティブ 800M で40のエキスパートを持ち、1B-A400M は総 1B、アクティブ 400M で32のエキスパートを持つ。どちらも上位8つにルーティングする^[2]
• Granite Guardian 3.0 は、ジェイルブレイク、バイアス、RAG のハルシネーションなどのリスクについてモデルの入出力を検査する。IBM は、公開リスク検出ベンチマークで Llama Guard 3 8B に対し平均 F1 が 4 ポイント向上したと報告している^[2]
• 8B Instruct 向けの投機的デコーディング高速化機能で、IBM によればステップあたりのトークン数で 220% の高速化を実現する^[2]
• Granite Time Series モデルは、IBM によれば、ゼロショットおよび少数ショットの予測で最先端の水準に達し、10倍大きなモデルを上回った^[1]
• IBM は watsonx.ai 上の Granite モデルに対して知的財産補償を提供し、Granite を16万人のコンサルタントが使う Consulting Advantage デリバリープラットフォームの標準モデルにすると述べた^[1]