| Spesifikasi | Nilai |
|---|---|
| Pembuat | Meta[1] |
| Model | Model teks: 1B (1.23B) dan 3B (3.21B) |
| Panjang konteks | 128K token |
| Data pelatihan | Hingga 9T token, batas pengetahuan Desember 2023 |
| Lisensi | Llama 3.2 Community License (khusus, komersial) |
Dari kartu model Llama 3.2 Meta di GitHub, yang mencakup model teks saja 1B dan 3B (model visi 11B dan 90B tidak ada di dalamnya); angka grafik adalah untuk model bf16 yang disetel instruksi. Kartu itu tidak menyebut harga API atau output maksimum. · sumber
Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.2 90B Vision named (also 11B vision and 1B/3B text; 25 Sep 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's benchmarks are vision/edge tables, not comparable. Context 128k (Meta blog) -> 1. Price: Meta published none; hosted price for 90B Vision Turbo was $1.20 per 1M tokens on Together (Wayback 1 Oct 2024) -> 5. Speed null. Modalities 3 for the 90B/11B (text+image in); the 1B/3B are text-only. Reviews: Simon Willison (tried the 1B), The Register (tested the 11B vision model, critical), Tom's Guide (1B/3B on a MacBook Air); no test of the 90B.[1]
I tried running my djp codebase through that tiny 1B model just now and got a surprisingly good result - by no means comprehensive, but way better than I would ever expect from a model of that size
Tasked with analyzing a basic line chart, Llama 3.2 11B's vision capabilities start to show their limitations pretty quickly.
The 1 billion parameter model runs comfortably on an M3 MacBook Air with 8GB of RAM, while the 3 billion model also works but just barely.
| Llama 3.2 · 25 Sep 2024 | 0.60 |
|---|---|
| Meta AI drops multimodal Llama 3.2 — here's why it's such a big deal · 25 Sep 2024 | 0.40 |
| Meta gives Llama 3 vision, now if only it had a brain · 6 Okt 2024 | -0.30 |
Foto dari pembaca, terpisah dari media bersumber milik pin. Nilai apa yang Anda makan atau lihat, dan di pin restoran, tandai hidangan langsung pada foto Anda.
Entri pertama selalu merupakan sumber pin. Keyakinan keseluruhan adalah rata-rata tertimbang dari seberapa kuat setiap referensi mendukung waktu mulai dan berakhir yang digunakan di atas; bobot sebuah referensi berkurang setengahnya untuk setiap 180 hari lebih lama dari yang terbaru.
Unggahan Meta, yang dipublikasikan di Connect pada 25 September 2024, berbunyi 'Today, we're releasing Llama 3.2'; kartu model visi mencantumkan 'Model Release Date: Sept 25, 2024', TechCrunch[4] dan VentureBeat[5] melaporkannya hari itu dan OpenRouter[6] mencantumkan 1B dan 3B dibuat pada 2024-09-25.
Meta's[1] card for the text models: 1.23B and 3.21B parameters, 128k context (8k quantized), up to 9T pretraining tokens with logits from Llama 3.1 8B and 70B as targets and distillation after pruning, December 2023 cutoff, eight languages, SFT, rejection sampling and DPO post-training, 916k H100 hours, and the instruction-tuned benchmark table against Llama 3.1 8B.
Meta's[1] vision card: 10.6B and 88.8B parameters on a separately trained cross-attention vision adapter over Llama 3.1, 6B image-text pairs, 128k context, English-only for image plus text, 2.02M H100 hours, release date Sept 25, 2024, and the MMMU, ChartQA, DocVQA and VQAv2 results.
Same-day report by Kyle Wiggers: the 11B and 90B read charts, caption images and locate objects; they are not accessible in Europe because of the 'unpredictable' regulatory environment while the 1B and 3B launch there; over 350 million downloads; the 700-million-user licence clause.[1]
Report from Connect: Zuckerberg calls Llama 3.2 'our first open-source multimodal model' and open source 'the Linux of AI', Meta[1] says it is competitive with Claude 3 Haiku and GPT-4o-mini on vision and beats Gemma and Phi 3.5-mini on instruction following, with Llama usage up 10x since 3.1.
Ada yang kurang atau salah? Sampaikan dengan kata-kata Anda sendiri: tautan yang mendukung pin ini, tanggal mulai atau berakhir yang berbeda beserta alasannya, atau fakta yang kurang atau keliru. AI memeriksanya terhadap sumber pin ini, mencari sumber yang lebih baik, dan menambahkan halaman mana pun yang mendukung Anda. Sumber pin itu sendiri tetap paling diperhitungkan. Gambar yang menampilkan hal lain, atau menampilkannya dengan buruk, juga diperiksa, lalu diturunkan atau diganti.
Judul asli: Llama 3.2 1B, 3B, 11B and 90B Released
| Benchmark | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | tidak tersedia | tidak tersedia |
| IFEval | 59.5 | 77.4 | 80.4 | tidak tersedia | tidak tersedia |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | tidak tersedia | tidak tersedia |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | tidak tersedia | tidak tersedia |
| ARC-C | 59.4 | 78.6 | 83.4 | tidak tersedia | tidak tersedia |
| BFCL V2 | 25.7 | 67.0 | 67.1 | tidak tersedia | tidak tersedia |
| MMMU (val, CoT) | tidak tersedia | tidak tersedia | tidak tersedia | 50.7 | 60.3 |
| MathVista (testmini) | tidak tersedia | tidak tersedia | tidak tersedia | 51.5 | 57.3 |
| ChartQA (test, CoT) | tidak tersedia | tidak tersedia | tidak tersedia | 83.4 | 85.5 |
| AI2 Diagram (test) | tidak tersedia | tidak tersedia | tidak tersedia | 91.1 | 92.3 |
| DocVQA (test) | tidak tersedia | tidak tersedia | tidak tersedia | 88.4 | 90.1 |
| VQAv2 (test) | tidak tersedia | tidak tersedia | tidak tersedia | 75.2 | 78.1 |