Rilasciati Granite 3.0 8B e 2B

• IBM ha annunciato Granite 3.0 il 21 ottobre 2024 durante il suo evento annuale TechXchange, definendola la sua famiglia di modelli di IA più avanzata finora e la terza generazione di Granite, con tutti i modelli sotto la licenza permissiva Apache 2.0^[1]
• I modelli linguistici di punta sono Granite 3.0 8B e 2B, ciascuno nelle versioni Instruct e Base; la famiglia aggiunge anche i modelli di sicurezza Granite Guardian 3.0 8B e 2B e quattro modelli mixture-of-experts, 3B-A800M e 1B-A400M, ciascuno nelle versioni Instruct e Base^[1][2]
• IBM afferma che Granite 3.0 8B Instruct è stato addestrato su oltre 12 trilioni di token in 12 lingue naturali e 116 linguaggi di programmazione, e che il rapporto tecnico e la guida all'uso responsabile descrivono i dataset e le fasi di filtraggio^[1][2][4]
• IBM riferisce che Granite 3.0 8B Instruct supera la media dei modelli aperti di dimensioni simili di Meta e Mistral sulla Hugging Face OpenLLM Leaderboard e sul proprio benchmark di sicurezza AttaQ; si tratta di confronti eseguiti dal fornitore^[1][2]
• Maginative sottolinea che i modelli non puntano a sistemi di frontiera come GPT-4 o Claude Opus: il più grande è da 8B, quindi sono piccoli modelli linguistici pensati per essere messi a punto sui dati aziendali^[4]

Caratteristiche principali

• Modelli mixture-of-experts per l'impiego su CPU e edge: Granite 3.0 3B-A800M ha 3B di parametri totali e 800M attivi con 40 esperti, e 1B-A400M ha 1B totali e 400M attivi con 32 esperti, entrambi con instradamento ai primi 8^[2]
• Granite Guardian 3.0 esamina input e output dei modelli alla ricerca di rischi come jailbreaking, bias e allucinazioni RAG; IBM riferisce un guadagno medio di 4 punti di F1 rispetto a Llama Guard 3 8B su benchmark pubblici di rilevamento dei rischi^[2]
• Un acceleratore di speculative decoding per l'8B Instruct che, secondo IBM, offre un'accelerazione del 220% nei token per passo^[2]
• Un modello Granite Time Series che, secondo IBM, ha raggiunto prestazioni allo stato dell'arte nelle previsioni zero-shot e few-shot, superando modelli dieci volte più grandi^[1]
• IBM offre una manleva sulla proprietà intellettuale per i modelli Granite su watsonx.ai e ha dichiarato che Granite diventerà il modello predefinito della sua piattaforma di delivery Consulting Advantage, usata da 160.000 consulenti^[1]