| Caractéristique | Valeur |
|---|---|
| Éditeur | Meta[1] |
| Modèles | Modèles texte : 1B (1.23B) et 3B (3.21B) |
| Longueur de contexte | 128K tokens |
| Données d'entraînement | Jusqu'à 9T tokens, connaissances arrêtées en décembre 2023 |
| Licence | Llama 3.2 Community License (personnalisée, commerciale) |
D'après la fiche du modèle Llama 3.2 de Meta sur GitHub, qui couvre les modèles texte 1B et 3B (les modèles de vision 11B et 90B n'y figurent pas) ; les chiffres concernent les modèles bf16 ajustés aux instructions. La fiche n'indique ni prix d'API ni sortie maximale. · source
Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.2 90B Vision named (also 11B vision and 1B/3B text; 25 Sep 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's benchmarks are vision/edge tables, not comparable. Context 128k (Meta blog) -> 1. Price: Meta published none; hosted price for 90B Vision Turbo was $1.20 per 1M tokens on Together (Wayback 1 Oct 2024) -> 5. Speed null. Modalities 3 for the 90B/11B (text+image in); the 1B/3B are text-only. Reviews: Simon Willison (tried the 1B), The Register (tested the 11B vision model, critical), Tom's Guide (1B/3B on a MacBook Air); no test of the 90B.[1]
I tried running my djp codebase through that tiny 1B model just now and got a surprisingly good result - by no means comprehensive, but way better than I would ever expect from a model of that size
Tasked with analyzing a basic line chart, Llama 3.2 11B's vision capabilities start to show their limitations pretty quickly.
The 1 billion parameter model runs comfortably on an M3 MacBook Air with 8GB of RAM, while the 3 billion model also works but just barely.
| Llama 3.2 · 25 sept. 2024 | 0.60 |
|---|---|
| Meta AI drops multimodal Llama 3.2 — here's why it's such a big deal · 25 sept. 2024 | 0.40 |
| Meta gives Llama 3 vision, now if only it had a brain · 6 oct. 2024 | -0.30 |
Photos de lecteurs, distinctes des médias sourcés du pin. Notez ce que vous avez mangé ou vu et, sur un pin de restaurant, identifiez les plats directement sur votre photo.
La première entrée est toujours la source de l’épingle. La confiance globale est une moyenne pondérée de la fermeté avec laquelle chaque référence étaye les heures de début et de fin retenues ci-dessus ; une référence compte moitié moins pour chaque tranche de 180 jours d’ancienneté par rapport à la plus récente.
L'article de Meta, publié à Connect le 25 septembre 2024, dit 'Today, we're releasing Llama 3.2' ; la fiche du modèle de vision indique 'Model Release Date: Sept 25, 2024', TechCrunch[4] et VentureBeat[5] l'ont rapporté le jour même et OpenRouter[6] indique les 1B et 3B comme créés le 2024-09-25.
Meta's[1] card for the text models: 1.23B and 3.21B parameters, 128k context (8k quantized), up to 9T pretraining tokens with logits from Llama 3.1 8B and 70B as targets and distillation after pruning, December 2023 cutoff, eight languages, SFT, rejection sampling and DPO post-training, 916k H100 hours, and the instruction-tuned benchmark table against Llama 3.1 8B.
Meta's[1] vision card: 10.6B and 88.8B parameters on a separately trained cross-attention vision adapter over Llama 3.1, 6B image-text pairs, 128k context, English-only for image plus text, 2.02M H100 hours, release date Sept 25, 2024, and the MMMU, ChartQA, DocVQA and VQAv2 results.
Same-day report by Kyle Wiggers: the 11B and 90B read charts, caption images and locate objects; they are not accessible in Europe because of the 'unpredictable' regulatory environment while the 1B and 3B launch there; over 350 million downloads; the 700-million-user licence clause.[1]
Report from Connect: Zuckerberg calls Llama 3.2 'our first open-source multimodal model' and open source 'the Linux of AI', Meta[1] says it is competitive with Claude 3 Haiku and GPT-4o-mini on vision and beats Gemma and Phi 3.5-mini on instruction following, with Llama usage up 10x since 3.1.
Il manque quelque chose ou une erreur s'est glissée ? Dites-le avec vos mots : un lien qui étaye cette épingle, une autre date de début ou de fin et pourquoi, ou une information absente ou erronée. L'IA la vérifie au regard des sources de l'épingle, en cherche de meilleures et ajoute toute page qui vous donne raison. Les sources de l'épingle restent celles qui comptent le plus. L'IA regarde aussi les images : une image qui montre autre chose, ou qui le montre mal, passe en dernier ou est remplacée.
Titre original: Llama 3.2 1B, 3B, 11B and 90B Released
| Benchmark | Llama 3.2 1B | Llama 3.2 3B | Llama 3.1 8B | Llama 3.2 11B | Llama 3.2 90B |
|---|---|---|---|---|---|
| MMLU (5-shot) | 49.3 | 63.4 | 69.4 | n/d | n/d |
| IFEval | 59.5 | 77.4 | 80.4 | n/d | n/d |
| GSM8K (CoT) | 44.4 | 77.7 | 84.5 | n/d | n/d |
| MATH (CoT) | 30.6 | 48.0 | 51.9 | n/d | n/d |
| ARC-C | 59.4 | 78.6 | 83.4 | n/d | n/d |
| BFCL V2 | 25.7 | 67.0 | 67.1 | n/d | n/d |
| MMMU (val, CoT) | n/d | n/d | n/d | 50.7 | 60.3 |
| MathVista (testmini) | n/d | n/d | n/d | 51.5 | 57.3 |
| ChartQA (test, CoT) | n/d | n/d | n/d | 83.4 | 85.5 |
| AI2 Diagram (test) | n/d | n/d | n/d | 91.1 | 92.3 |
| DocVQA (test) | n/d | n/d | n/d | 88.4 | 90.1 |
| VQAv2 (test) | n/d | n/d | n/d | 75.2 | 78.1 |