Llama 3.3 70B é lançado

• A Meta lançou o Llama 3.3 70B a 6 de dezembro de 2024, cerca de quatro meses e meio depois do Llama 3.1, um modelo de 70B ajustado por instruções, com entrada e saída de texto, que segundo a Meta 'entrega o desempenho do maior modelo Llama da Meta, o Llama 3.1 405B, a menor custo'; o vice-presidente de IA generativa Ahmad Al-Dahle disse que 'melhora o desempenho central a um custo significativamente menor'^[1][5]
• Chega como um único modelo de 70B, pré-treinado com cerca de 15 biliões de tokens de fontes públicas com corte em dezembro de 2023, e a Meta ajustou-o com dados públicos de instruções mais mais de 25M de exemplos sintéticos usando SFT e RLHF; a Meta indica 7.0M de horas de GPU H100-80GB^[1][4]
• Na tabela da própria Meta para modelos ajustados por instruções, iguala o Llama 3.1 70B no MMLU (CoT, 86.0) e supera-o no MMLU Pro (68.9 contra 66.4), IFEval (92.1 contra 87.5), HumanEval (88.4 contra 80.5), MATH (77.0 contra 68.0) e MGSM (91.1 contra 86.9); em IFEval, MATH e GPQA Diamond (50.5 contra 49.0) também supera ligeiramente o de 405B^[1][4]
• Contra rivais fechados no gráfico da Meta, supera o GPT-4o em IFEval (92.1 contra 84.6), HumanEval (88.4 contra 86.0) e MATH (77.0 contra 76.9), mas fica atrás no MMLU Pro (68.9 contra 73.8), e o Claude 3.5 Sonnet e o Gemini 1.5 Pro continuam à frente em várias linhas de programação e matemática^[2][3]
• A linha de custo do mesmo gráfico é o argumento de venda: $0.1 por milhão de tokens de entrada e $0.4 por milhão de tokens de saída, o preço mais barato entre fornecedores, contra $2.5 e $10 do GPT-4o, $3 e $15 do Claude 3.5 Sonnet, $0.80 e $3.20 do Amazon Nova Pro e $1.0 e $1.8 do Llama 3.1 405B; a OpenRouter lista-o hoje a $0.22 e $0.50^[2][6]
• É lançado sob a Llama 3.3 Community License, que pede às plataformas com mais de 700 milhões de utilizadores mensais que solicitem uma licença especial; a TechCrunch noticiou que o Llama ultrapassava 650 milhões de downloads, o Meta AI quase 600 milhões de utilizadores mensais e que Zuckerberg disse que treinar o Llama 4 exigiria 10x o poder de computação do Llama 3, tendo a Meta adquirido um cluster com mais de 100,000 GPUs da Nvidia^[4][5]

Principais recursos

• Contexto de 128k tokens, atenção por consultas agrupadas, saída multilingue de texto e código; as oito línguas oficialmente suportadas são inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês, embora o treino tenha abrangido mais^[4]
• Apenas texto: não aceita imagens, ao contrário dos modelos de visão Llama 3.2 que a Meta lançara em setembro^[4]
• O Llama 3.3 também permite, ao abrigo da sua licença, usar as suas saídas para melhorar outros modelos, incluindo geração de dados sintéticos e destilação^[4]
• Distribuição: Hugging Face (com acesso restrito), llama.com e GitHub da Meta, Ollama (`ollama pull llama3.3:70b`, cerca de 42 GB), Groq e anfitriões como Deep Infra, Hyperbolic, Fireworks e Together AI^[3][5]
• A Meta descreve-o como oferecendo inferência económica que pode ser executada localmente numa estação de trabalho típica de programador^[2]

Benchmarks da Meta para modelos ajustados por instruções^[4]