CONFIRMADOConfiança da data: CONFIRMADOInformado como definitivoQuão firme a fonte é sobre a data: confirmada, agendada, estimada, adiada ou não verificada.Mostrar todos os pins CONFIRMADO84% DE CONFIANÇAConfiança geral: 84%Quanto a fonte e as referências do pin sustentam suas datas.Média ponderada de quanto 6 referências, incluindo a fonte, sustentam os horários de início e fim do pin; uma referência conta metade a cada 180 dias a mais em relação à mais recenteMostrar todos os pins com confiança de 75% ou mais
A publicação da Meta[1] 'Introducing Llama 3.1: Our most capable models to date' é datada de 23 de julho de 2024 e diz que os modelos estavam disponíveis para download naquele dia; a carta aberta de Zuckerberg e o TechCrunch[6] têm a mesma data.- Início
- 23 de jul. de 202490% DE CONFIANÇAfonte
Llama 3.1 8B, 70B e 405B lançados
Traduzido automaticamente do original
Título original: Llama 3.1 8B, 70B and 405B Released
A Meta lança o Llama 3.1 nos tamanhos 8B, 70B e 405B com janela de contexto de 128K; o 405B, treinado com mais de 15 trilhões de tokens, é apresentado como o primeiro modelo aberto de nível de fronteira e pode ser baixado gratuitamente.
- A Meta lançou o Llama 3.1 em 23 de julho de 2024 em três tamanhos, um 8B e um 70B atualizados e um novo 405B que chamou de primeiro modelo de IA de código aberto de nível de fronteira, com pesos para download gratuito em llama.meta.com e no Hugging Face[1][5]
- Chegou três meses depois do Llama 3 (18 de abril de 2024, 8B e 70B) e tem janela de contexto de 128K tokens[1][3]
- O 405B foi treinado com mais de 15 trilhões de tokens usando mais de 16,000 GPUs H100, como um transformer denso padrão apenas com decodificador, e não uma mistura de especialistas; o cartão da Meta contabiliza 39.3M horas de GPU nos três tamanhos, 30.84M delas para o 405B[1][2][6]
- A Meta avaliou em mais de 150 conjuntos de dados de benchmark, além de avaliações humanas, e chamou o 405B de competitivo com GPT-4, GPT-4o e Claude 3.5 Sonnet; a leitura do TechCrunch é de que está no mesmo nível do GPT-4 e com resultados mistos diante do GPT-4o e do Claude 3.5 Sonnet, atrás do Claude em programação e raciocínio geral[1][6]
- A licença mudou para permitir que desenvolvedores usem as saídas do Llama, inclusive do 405B, para melhorar outros modelos (destilação e dados sintéticos), enquanto aplicativos com mais de 700 milhões de usuários mensais ainda precisam de uma licença especial[1][2][6]
- O 8B é o modelo pequeno do gráfico: marca 69.4 no MMLU, 72.6 no HumanEval e 84.5 no GSM-8K como modelo instruct, contra 87.3, 89.0 e 96.8 do 405B[2]
Principais recursos
- Contexto de 128K e oito idiomas suportados, com uso de ferramentas, direcionabilidade, matemática, tradução e chamada de funções integrados[1][6]
- O 405B é quantizado de BF16 de 16 bits para FP8 de 8 bits, para rodar em um único nó de servidor[1]
- Segurança e ferramentas lançadas junto: Llama Guard 3 (multilíngue), Prompt Guard contra injeção de prompt, um sistema de referência e as interfaces padrão do Llama Stack como pedido de comentários[1]
- Mais de 25 parceiros lançaram serviços no primeiro dia, entre eles AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud e Snowflake; a Meta disse que o Llama passou de 300 milhões de downloads, e o 405B também alimentava o Meta AI no WhatsApp para usuários dos EUA[1][6]
- A carta de Zuckerberg argumenta que o código aberto vence porque os desenvolvedores podem ajustar, destilar e executar os modelos por conta própria, e coloca a inferência do 405B em cerca de metade do custo do GPT-4o[5]
Benchmarks[2]
| Benchmark | Llama 3.1 8B Instruct | Llama 3.1 70B Instruct | Llama 3.1 405B Instruct |
|---|---|---|---|
| MMLU (5-shot) | 69.4 | 83.6 | 87.3 |
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 88.6 |
| MMLU-Pro (CoT, 5-shot) | 48.3 | 66.4 | 73.3 |
| IFEval | 80.4 | 87.5 | 88.6 |
| ARC-C (0-shot) | 83.4 | 94.8 | 96.9 |
| GPQA (0-shot) | 30.4 | 46.7 | 50.7 |
| HumanEval (pass@1) | 72.6 | 80.5 | 89.0 |
| MBPP++ base (pass@1) | 72.8 | 86.0 | 88.6 |
| MultiPL-E HumanEval (pass@1) | 50.8 | 65.5 | 75.2 |
| MultiPL-E MBPP (pass@1) | 52.4 | 62.0 | 65.7 |
| GSM-8K (CoT, 8-shot) | 84.5 | 95.1 | 96.8 |
| MATH (CoT, 0-shot) | 51.9 | 68.0 | 73.8 |
| API-Bank (0-shot) | 82.6 | 90.0 | 92.0 |
| BFCL (0-shot) | 76.1 | 84.8 | 88.5 |
| Gorilla API-Bench (0-shot) | 8.2 | 29.7 | 35.3 |
| Nexus (0-shot) | 38.5 | 56.7 | 58.7 |
| Multilingual MGSM (CoT, 0-shot) | 68.9 | 86.9 | 91.6 |
Comprar emMeta AI