Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.2 90B Vision named (also 11B vision and 1B/3B text; 25 Sep 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's benchmarks are vision/edge tables, not comparable. Context 128k (Meta blog) -> 1. Price: Meta published none; hosted price for 90B Vision Turbo was $1.20 per 1M tokens on Together (Wayback 1 Oct 2024) -> 5. Speed null. Modalities 3 for the 90B/11B (text+image in); the 1B/3B are text-only. Reviews: Simon Willison (tried the 1B), The Register (tested the 11B vision model, critical), Tom's Guide (1B/3B on a MacBook Air); no test of the 90B.[1]
I tried running my djp codebase through that tiny 1B model just now and got a surprisingly good result - by no means comprehensive, but way better than I would ever expect from a model of that size
Tasked with analyzing a basic line chart, Llama 3.2 11B's vision capabilities start to show their limitations pretty quickly.
The 1 billion parameter model runs comfortably on an M3 MacBook Air with 8GB of RAM, while the 3 billion model also works but just barely.
| Llama 3.2 · 2024/09/25 | 0.60 |
|---|---|
| Meta AI drops multimodal Llama 3.2 — here's why it's such a big deal · 2024/09/25 | 0.40 |
| Meta gives Llama 3 vision, now if only it had a brain · 2024/10/06 | -0.30 |
読者の写真で、出典付きのピンのメディアとは別に表示されます。食べたものや見たものを評価でき、レストランのピンでは写真上に料理をタグ付けできます。
最初の項目は常にピンの出典です。全体の確度は、各資料が上記の開始・終了時刻をどれだけ強く裏付けているかの加重平均です。最新の資料より180日古くなるごとに、重みは半分になります。
Metaが2024年9月25日のConnectで公開した投稿には「Today, we're releasing Llama 3.2」とあり、ビジョンモデルのモデルカードには「Model Release Date: Sept 25, 2024」と記載されている。TechCrunch[4]とVentureBeat[5]も同日に報じ、OpenRouter[6]は1Bと3Bの作成日を2024-09-25としている。
Meta's[1] card for the text models: 1.23B and 3.21B parameters, 128k context (8k quantized), up to 9T pretraining tokens with logits from Llama 3.1 8B and 70B as targets and distillation after pruning, December 2023 cutoff, eight languages, SFT, rejection sampling and DPO post-training, 916k H100 hours, and the instruction-tuned benchmark table against Llama 3.1 8B.
Meta's[1] vision card: 10.6B and 88.8B parameters on a separately trained cross-attention vision adapter over Llama 3.1, 6B image-text pairs, 128k context, English-only for image plus text, 2.02M H100 hours, release date Sept 25, 2024, and the MMMU, ChartQA, DocVQA and VQAv2 results.
Same-day report by Kyle Wiggers: the 11B and 90B read charts, caption images and locate objects; they are not accessible in Europe because of the 'unpredictable' regulatory environment while the 1B and 3B launch there; over 350 million downloads; the 700-million-user licence clause.[1]
Report from Connect: Zuckerberg calls Llama 3.2 'our first open-source multimodal model' and open source 'the Linux of AI', Meta[1] says it is competitive with Claude 3 Haiku and GPT-4o-mini on vision and beats Gemma and Phi 3.5-mini on instruction following, with Llama usage up 10x since 3.1.
足りない点や誤りがありますか? このピンを裏付けるリンク、別の開始日・終了日とその理由、欠けている情報や誤っている情報を、自由に書いてください。AIがこのピンの出典と照らし合わせ、より良い情報源を探し、裏付けとなるページがあれば参考資料として追加します。ピン自身の出典が引き続き最も重視されます。AIは画像も確認します。別のものが写っている画像や写りの悪い画像は、後ろに回すか差し替えます。
元のタイトル: Llama 3.2 1B, 3B, 11B and 90B Released
| ベンチマーク | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | 該当なし | 該当なし |
| IFEval | 59.5 | 77.4 | 80.4 | 該当なし | 該当なし |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | 該当なし | 該当なし |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | 該当なし | 該当なし |
| ARC-C | 59.4 | 78.6 | 83.4 | 該当なし | 該当なし |
| BFCL V2 | 25.7 | 67.0 | 67.1 | 該当なし | 該当なし |
| MMMU (val, CoT) | 該当なし | 該当なし | 該当なし | 50.7 | 60.3 |
| MathVista (testmini) | 該当なし | 該当なし | 該当なし | 51.5 | 57.3 |
| ChartQA (test, CoT) | 該当なし | 該当なし | 該当なし | 83.4 | 85.5 |
| AI2 Diagram (test) | 該当なし | 該当なし | 該当なし | 91.1 | 92.3 |
| DocVQA (test) | 該当なし | 該当なし | 該当なし | 88.4 | 90.1 |
| VQAv2 (test) | 該当なし | 該当なし | 該当なし | 75.2 | 78.1 |