Lançados Granite 3.0 8B e 2B

• A IBM anunciou o Granite 3.0 em 21 de outubro de 2024 em seu evento anual TechXchange, chamando-o de sua família de modelos de IA mais avançada até agora e a terceira geração do Granite, com todos os modelos sob a licença permissiva Apache 2.0^[1]
• Os principais modelos de linguagem são o Granite 3.0 8B e 2B, cada um nas versões Instruct e Base; a família também acrescenta os modelos de segurança Granite Guardian 3.0 8B e 2B e quatro modelos de mistura de especialistas, 3B-A800M e 1B-A400M, cada um nas versões Instruct e Base^[1][2]
• A IBM afirma que o Granite 3.0 8B Instruct foi treinado com mais de 12 trilhões de tokens em 12 idiomas naturais e 116 linguagens de programação, e que o relatório técnico e o guia de uso responsável descrevem os conjuntos de dados e as etapas de filtragem^[1][2][4]
• A IBM informa que o Granite 3.0 8B Instruct supera a média de modelos abertos de tamanho semelhante da Meta e da Mistral no Hugging Face OpenLLM Leaderboard e em seu próprio benchmark de segurança AttaQ; são comparações feitas pelo próprio fornecedor^[1][2]
• A Maginative observa que os modelos não visam sistemas de ponta como o GPT-4 ou o Claude Opus: o maior tem 8B, portanto são pequenos modelos de linguagem feitos para serem ajustados com dados da empresa^[4]

Recursos notáveis

• Modelos de mistura de especialistas para implantação em CPU e na borda: o Granite 3.0 3B-A800M tem 3B de parâmetros totais e 800M ativos com 40 especialistas, e o 1B-A400M tem 1B totais e 400M ativos com 32 especialistas, ambos roteando para os 8 melhores^[2]
• O Granite Guardian 3.0 examina entradas e saídas dos modelos em busca de riscos como jailbreaking, viés e alucinação em RAG; a IBM relata um ganho médio de 4 pontos de F1 sobre o Llama Guard 3 8B em benchmarks públicos de detecção de riscos^[2]
• Um acelerador de decodificação especulativa para o 8B Instruct que, segundo a IBM, entrega uma aceleração de 220% em tokens por passo^[2]
• Um modelo Granite Time Series que, segundo a IBM, atingiu o estado da arte em previsão zero-shot e few-shot, superando modelos dez vezes maiores^[1]
• A IBM oferece indenização de propriedade intelectual para os modelos Granite no watsonx.ai e disse que o Granite se tornaria o modelo padrão de sua plataforma de entrega Consulting Advantage, usada por 160.000 consultores^[1]