Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.2 90B Vision named (also 11B vision and 1B/3B text; 25 Sep 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's benchmarks are vision/edge tables, not comparable. Context 128k (Meta blog) -> 1. Price: Meta published none; hosted price for 90B Vision Turbo was $1.20 per 1M tokens on Together (Wayback 1 Oct 2024) -> 5. Speed null. Modalities 3 for the 90B/11B (text+image in); the 1B/3B are text-only. Reviews: Simon Willison (tried the 1B), The Register (tested the 11B vision model, critical), Tom's Guide (1B/3B on a MacBook Air); no test of the 90B.[1]
I tried running my djp codebase through that tiny 1B model just now and got a surprisingly good result - by no means comprehensive, but way better than I would ever expect from a model of that size
Tasked with analyzing a basic line chart, Llama 3.2 11B's vision capabilities start to show their limitations pretty quickly.
The 1 billion parameter model runs comfortably on an M3 MacBook Air with 8GB of RAM, while the 3 billion model also works but just barely.
| Llama 3.2 · 2024. 9. 25. | 0.60 |
|---|---|
| Meta AI drops multimodal Llama 3.2 — here's why it's such a big deal · 2024. 9. 25. | 0.40 |
| Meta gives Llama 3 vision, now if only it had a brain · 2024. 10. 6. | -0.30 |
독자들의 사진으로, 출처가 있는 핀의 미디어와 별도로 표시됩니다. 먹거나 본 것을 평가하고, 레스토랑 핀에서는 사진에 바로 요리를 태그해 보세요.
첫 번째 항목은 항상 핀의 출처입니다. 전체 신뢰도는 각 자료가 위의 시작·종료 시각을 얼마나 확실히 뒷받침하는지에 대한 가중 평균이며, 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다.
2024년 9월 25일 Connect에서 공개된 Meta의 게시글은 'Today, we're releasing Llama 3.2'라고 밝히고, 비전 모델 카드에는 'Model Release Date: Sept 25, 2024'로 적혀 있으며, TechCrunch[4]와 VentureBeat[5]가 같은 날 보도했고 OpenRouter[6]는 1B와 3B의 생성일을 2024-09-25로 표기한다.
Meta's[1] card for the text models: 1.23B and 3.21B parameters, 128k context (8k quantized), up to 9T pretraining tokens with logits from Llama 3.1 8B and 70B as targets and distillation after pruning, December 2023 cutoff, eight languages, SFT, rejection sampling and DPO post-training, 916k H100 hours, and the instruction-tuned benchmark table against Llama 3.1 8B.
Meta's[1] vision card: 10.6B and 88.8B parameters on a separately trained cross-attention vision adapter over Llama 3.1, 6B image-text pairs, 128k context, English-only for image plus text, 2.02M H100 hours, release date Sept 25, 2024, and the MMMU, ChartQA, DocVQA and VQAv2 results.
Same-day report by Kyle Wiggers: the 11B and 90B read charts, caption images and locate objects; they are not accessible in Europe because of the 'unpredictable' regulatory environment while the 1B and 3B launch there; over 350 million downloads; the 700-million-user licence clause.[1]
Report from Connect: Zuckerberg calls Llama 3.2 'our first open-source multimodal model' and open source 'the Linux of AI', Meta[1] says it is competitive with Claude 3 Haiku and GPT-4o-mini on vision and beats Gemma and Phi 3.5-mini on instruction following, with Llama usage up 10x since 3.1.
빠지거나 잘못된 점이 있나요? 이 핀을 뒷받침하는 링크, 다른 시작일이나 종료일과 그 이유, 빠지거나 잘못된 사실을 자신의 말로 알려주세요. AI가 이 핀의 출처와 대조하고 더 나은 자료를 찾아, 뒷받침하는 페이지를 추가합니다. 핀 자체의 출처가 여전히 가장 중요하게 반영됩니다. AI는 이미지도 확인합니다. 다른 것을 보여주거나 제대로 보여주지 못하는 이미지는 뒤로 옮기거나 교체합니다.
원본 제목: Llama 3.2 1B, 3B, 11B and 90B Released
| 벤치마크 | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | 해당 없음 | 해당 없음 |
| IFEval | 59.5 | 77.4 | 80.4 | 해당 없음 | 해당 없음 |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | 해당 없음 | 해당 없음 |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | 해당 없음 | 해당 없음 |
| ARC-C | 59.4 | 78.6 | 83.4 | 해당 없음 | 해당 없음 |
| BFCL V2 | 25.7 | 67.0 | 67.1 | 해당 없음 | 해당 없음 |
| MMMU (val, CoT) | 해당 없음 | 해당 없음 | 해당 없음 | 50.7 | 60.3 |
| MathVista (testmini) | 해당 없음 | 해당 없음 | 해당 없음 | 51.5 | 57.3 |
| ChartQA (test, CoT) | 해당 없음 | 해당 없음 | 해당 없음 | 83.4 | 85.5 |
| AI2 Diagram (test) | 해당 없음 | 해당 없음 | 해당 없음 | 91.1 | 92.3 |
| DocVQA (test) | 해당 없음 | 해당 없음 | 해당 없음 | 88.4 | 90.1 |
| VQAv2 (test) | 해당 없음 | 해당 없음 | 해당 없음 | 75.2 | 78.1 |