Granite 3.0 8B und 2B veröffentlicht

• IBM kündigte Granite 3.0 am 21. Oktober 2024 auf seiner jährlichen Veranstaltung TechXchange an und bezeichnete es als seine bislang fortschrittlichste KI-Modellfamilie und die dritte Generation von Granite; alle Modelle stehen unter der freizügigen Apache-2.0-Lizenz^[1]
• Die Flaggschiff-Sprachmodelle sind Granite 3.0 8B und 2B, jeweils als Instruct- und Base-Variante; die Familie umfasst außerdem die Sicherheitsmodelle Granite Guardian 3.0 8B und 2B sowie vier Mixture-of-Experts-Modelle, 3B-A800M und 1B-A400M, jeweils als Instruct- und Base-Variante^[1][2]
• Laut IBM wurde Granite 3.0 8B Instruct mit mehr als 12 Billionen Token in 12 natürlichen Sprachen und 116 Programmiersprachen trainiert; der technische Bericht und der Leitfaden zur verantwortungsvollen Nutzung beschreiben die Datensätze und Filterschritte^[1][2][4]
• IBM berichtet, dass Granite 3.0 8B Instruct im Durchschnitt vor ähnlich großen offenen Modellen von Meta und Mistral auf dem Hugging Face OpenLLM Leaderboard und im eigenen AttaQ-Sicherheitsbenchmark liegt; es handelt sich um Vergleiche des Herstellers selbst^[1][2]
• Maginative weist darauf hin, dass die Modelle nicht auf Frontier-Systeme wie GPT-4 oder Claude Opus abzielen: Das größte hat 8B, es sind also kleine Sprachmodelle, die auf Unternehmensdaten feinabgestimmt werden sollen^[4]

Bemerkenswerte Merkmale

• Mixture-of-Experts-Modelle für CPU- und Edge-Einsatz: Granite 3.0 3B-A800M hat insgesamt 3B und 800M aktive Parameter mit 40 Experten, 1B-A400M insgesamt 1B und 400M aktive mit 32 Experten; beide leiten an die besten 8 weiter^[2]
• Granite Guardian 3.0 prüft Ein- und Ausgaben von Modellen auf Risiken wie Jailbreaking, Verzerrung (Bias) und RAG-Halluzinationen; IBM berichtet von einem durchschnittlichen Gewinn von 4 F1-Punkten gegenüber Llama Guard 3 8B auf öffentlichen Benchmarks zur Risikoerkennung^[2]
• Ein Speculative-Decoding-Beschleuniger für das 8B Instruct, der laut IBM eine Beschleunigung von 220 % bei den Token pro Schritt liefert^[2]
• Ein Granite-Time-Series-Modell, das laut IBM bei Zero-Shot- und Few-Shot-Prognosen den Stand der Technik erreichte und dabei zehnmal größere Modelle übertraf^[1]
• IBM bietet für Granite-Modelle auf watsonx.ai eine IP-Freistellung und erklärte, Granite werde zum Standardmodell seiner Delivery-Plattform Consulting Advantage, die von 160.000 Beratern genutzt wird^[1]