- Mula
- 25 Sep 202490% KEYAKINANsumber
Llama 3.2 1B, 3B, 11B dan 90B dikeluarkan
Diterjemah secara automatik daripada asal
Tajuk asal: Llama 3.2 1B, 3B, 11B and 90B Released
Meta mengeluarkan Llama 3.2 di Connect 2024: model teks ringan 1B dan 3B untuk telefon dan peranti tepi, serta model penglihatan 11B dan 90B, Llama multimodal pertamanya, semuanya dengan konteks 128K dan berat terbuka; model penglihatan tidak ditawarkan di Eropah.
- Meta melancarkan Llama 3.2 pada 25 September 2024 di Connect: 'LLM penglihatan bersaiz kecil dan sederhana (11B dan 90B)' serta 'model ringan teks sahaja (1B dan 3B)' yang muat pada telefon dan peranti tepi, masing-masing dalam bentuk pralatih dan ditala arahan[1][4]
- Ia merupakan keluarga Llama pertama dengan penglihatan, tiba lebih sedikit daripada dua bulan selepas Llama 3.1; Zuckerberg menyebutnya 'model multimodal sumber terbuka pertama kami' dan sumber terbuka sebagai 'Linux bagi AI', dan VentureBeat mencatat Meta berkata penggunaan Llama telah meningkat 10x sejak 3.1[1][5]
- Meta mendakwa model penglihatan setanding dengan Claude 3 Haiku dan GPT-4o-mini dalam pengecaman imej dan pemahaman visual, model 3B mengalahkan Gemma 2 2.6B dan Phi 3.5-mini dalam mengikut arahan, meringkaskan, menulis semula prompt dan penggunaan alat, dan model 1B bersaing dengan Gemma; dakwaan itu berasaskan lebih 150 set data penanda aras yang dijalankan sendiri oleh Meta[1][5]
- Model kecil dibuat melalui pemangkasan dan penyulingan: kad model menyatakan logit Llama 3.1 8B dan 70B digunakan sebagai sasaran peringkat token dalam pralatihan sehingga 9T token dan penyulingan pengetahuan memulihkan kualiti selepas pemangkasan, kemudian pusingan SFT, pensampelan penolakan dan DPO menyiapkannya[2]
- Model 11B dan 90B ialah model teks Llama 3.1 ditambah penyesuai penglihatan perhatian silang yang dilatih secara berasingan pada 6 bilion pasangan imej-teks, dan boleh menggantikan 3.1 secara terus untuk teks; imej serta teks hanya disokong dalam bahasa Inggeris[3][4]
- Eropah menjadi masalah: Meta tidak menyediakan model 11B dan 90B di EU, menyalahkan persekitaran kawal selia yang 'tidak dapat diramalkan', yang turut melumpuhkan beberapa ciri imej Meta AI di sana, sementara model 1B dan 3B dilancarkan di Eropah[4]
- Pelesenan terbuka diteruskan di bawah Llama 3.2 Community License, dengan platform yang melebihi 700 juta pengguna bulanan memerlukan lesen khas daripada Meta[2][4]
Ciri-ciri utama
- Keempat-empat saiz menyokong konteks 128K token (model kecil terkuantum 8K), kira-kira 100,000 perkataan sekali gus[1][2][4]
- Lebih 25 rakan kongsi dilancarkan pada hari pertama, antaranya AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud dan Snowflake, dengan Arm, MediaTek dan Qualcomm pada peranti[1]
- Pengedaran Llama Stack untuk kegunaan nod tunggal, di premis, awan dan pada peranti (PyTorch ExecuTorch pada peranti, Ollama untuk nod tunggal) dikeluarkan serentak[1]
- Perlindungan: Llama Guard 3 11B Vision untuk input teks dan imej, serta Llama Guard 3 1B yang dipangkas dan dikuantumkan daripada 2,858 MB kepada 438 MB[1]
- Varian 1B dan 3B terkuantum (SpinQuant dan QLoRA) menyusul, dengan konteks 8K, dan kad teks dikemas kini pada 24 Oktober 2024[2]
- OpenRouter menyenaraikan model 1B pada $0.027 setiap sejuta token input dan $0.201 setiap sejuta token output, dan model 3B pada $0.05 dan $0.33[6]
Penanda aras Meta untuk model yang ditala arahan[2][3]
| Penanda aras | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | t/a | t/a |
| IFEval | 59.5 | 77.4 | 80.4 | t/a | t/a |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | t/a | t/a |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | t/a | t/a |
| ARC-C | 59.4 | 78.6 | 83.4 | t/a | t/a |
| BFCL V2 | 25.7 | 67.0 | 67.1 | t/a | t/a |
| MMMU (val, CoT) | t/a | t/a | t/a | 50.7 | 60.3 |
| MathVista (testmini) | t/a | t/a | t/a | 51.5 | 57.3 |
| ChartQA (test, CoT) | t/a | t/a | t/a | 83.4 | 85.5 |
| AI2 Diagram (test) | t/a | t/a | t/a | 91.1 | 92.3 |
| DocVQA (test) | t/a | t/a | t/a | 88.4 | 90.1 |
| VQAv2 (test) | t/a | t/a | t/a | 75.2 | 78.1 |
Beli diMeta AI