| Especificação | Valor |
|---|---|
| Fabricante | Meta[1] |
| Modelos | Modelos de texto: 1B (1.23B) e 3B (3.21B) |
| Tamanho do contexto | 128K tokens |
| Dados de treinamento | Até 9T tokens, corte de conhecimento em dezembro de 2023 |
| Licença | Llama 3.2 Community License (personalizada, comercial) |
Do cartão do modelo Llama 3.2 da Meta no GitHub, que cobre os modelos apenas de texto 1B e 3B (os modelos de visão 11B e 90B não estão nele); os valores dos gráficos são dos modelos bf16 ajustados para instruções. O cartão não informa preço de API nem saída máxima. · fonte
Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.2 90B Vision named (also 11B vision and 1B/3B text; 25 Sep 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's benchmarks are vision/edge tables, not comparable. Context 128k (Meta blog) -> 1. Price: Meta published none; hosted price for 90B Vision Turbo was $1.20 per 1M tokens on Together (Wayback 1 Oct 2024) -> 5. Speed null. Modalities 3 for the 90B/11B (text+image in); the 1B/3B are text-only. Reviews: Simon Willison (tried the 1B), The Register (tested the 11B vision model, critical), Tom's Guide (1B/3B on a MacBook Air); no test of the 90B.[1]
I tried running my djp codebase through that tiny 1B model just now and got a surprisingly good result - by no means comprehensive, but way better than I would ever expect from a model of that size
Tasked with analyzing a basic line chart, Llama 3.2 11B's vision capabilities start to show their limitations pretty quickly.
The 1 billion parameter model runs comfortably on an M3 MacBook Air with 8GB of RAM, while the 3 billion model also works but just barely.
| Llama 3.2 · 25 de set. de 2024 | 0.60 |
|---|---|
| Meta AI drops multimodal Llama 3.2 — here's why it's such a big deal · 25 de set. de 2024 | 0.40 |
| Meta gives Llama 3 vision, now if only it had a brain · 6 de out. de 2024 | -0.30 |
Fotos de leitores, separadas das mídias com fontes do pin. Avalie o que você comeu ou viu e, em um pin de restaurante, marque os pratos direto na sua foto.
A primeira entrada é sempre a fonte do pin. A confiança geral é uma média ponderada de quanto cada referência sustenta os horários de início e fim usados acima; uma referência conta metade a cada 180 dias a mais em relação à mais recente.
A publicação da Meta, divulgada no Connect a 25 de setembro de 2024, diz 'Today, we're releasing Llama 3.2'; a ficha do modelo de visão indica 'Model Release Date: Sept 25, 2024', a TechCrunch[4] e a VentureBeat[5] noticiaram-no nesse dia e a OpenRouter[6] lista os modelos 1B e 3B como criados em 2024-09-25.
Meta's[1] card for the text models: 1.23B and 3.21B parameters, 128k context (8k quantized), up to 9T pretraining tokens with logits from Llama 3.1 8B and 70B as targets and distillation after pruning, December 2023 cutoff, eight languages, SFT, rejection sampling and DPO post-training, 916k H100 hours, and the instruction-tuned benchmark table against Llama 3.1 8B.
Meta's[1] vision card: 10.6B and 88.8B parameters on a separately trained cross-attention vision adapter over Llama 3.1, 6B image-text pairs, 128k context, English-only for image plus text, 2.02M H100 hours, release date Sept 25, 2024, and the MMMU, ChartQA, DocVQA and VQAv2 results.
Same-day report by Kyle Wiggers: the 11B and 90B read charts, caption images and locate objects; they are not accessible in Europe because of the 'unpredictable' regulatory environment while the 1B and 3B launch there; over 350 million downloads; the 700-million-user licence clause.[1]
Report from Connect: Zuckerberg calls Llama 3.2 'our first open-source multimodal model' and open source 'the Linux of AI', Meta[1] says it is competitive with Claude 3 Haiku and GPT-4o-mini on vision and beats Gemma and Phi 3.5-mini on instruction following, with Llama usage up 10x since 3.1.
Falta algo ou há um erro? Diga com suas palavras: um link que sustente este pin, uma data de início ou fim diferente e por quê, ou um fato que falta ou está errado. A IA confere isso com as fontes do pin, procura outras melhores e adiciona qualquer página que dê razão a você. As fontes do próprio pin continuam contando mais. Uma imagem que mostra outra coisa, ou mostra mal, também é analisada e rebaixada ou substituída.
Título original: Llama 3.2 1B, 3B, 11B and 90B Released
| Benchmark | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | n/d | n/d |
| IFEval | 59.5 | 77.4 | 80.4 | n/d | n/d |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | n/d | n/d |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | n/d | n/d |
| ARC-C | 59.4 | 78.6 | 83.4 | n/d | n/d |
| BFCL V2 | 25.7 | 67.0 | 67.1 | n/d | n/d |
| MMMU (val, CoT) | n/d | n/d | n/d | 50.7 | 60.3 |
| MathVista (testmini) | n/d | n/d | n/d | 51.5 | 57.3 |
| ChartQA (test, CoT) | n/d | n/d | n/d | 83.4 | 85.5 |
| AI2 Diagram (test) | n/d | n/d | n/d | 91.1 | 92.3 |
| DocVQA (test) | n/d | n/d | n/d | 88.4 | 90.1 |
| VQAv2 (test) | n/d | n/d | n/d | 75.2 | 78.1 |