Fil

Répondre à cette épingle

Language model rubric2026 criteria

Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.1 405B named (8B and 70B ship alongside; 23 Jul 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's headline benchmarks (e.g. MMLU, GPQA) are not comparable to the anchors. Context 128k (Meta blog) -> 1. Price: Meta published no list price; hosted launch-week price for 405B was Together Turbo $5.00 per 1M in/out (Wayback 30 Jul 2024; Fireworks listed $3.00) -> 3.5. Speed null. Modalities 1: text only (TechCrunch). Reviews are launch coverage and commentary relaying Meta's benchmarks (Simon Willison, Interconnects, The Register, Tom's Guide); no hands-on test of the 405B opened.^[1]

Reviews

Introducing Llama 3.1: Our most capable models to date · simonwillison.net · 23 juil. 2024it really is benchmarking in that GPT-4+ class, competitive with both GPT-4o and Claude 3.5 Sonnet.
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · interconnects.ai · 23 juil. 2024The 405 billion parameter model is directly in the ballpark of Anthropic's Claude 3 and OpenAI's GPT-4o.
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · theregister.com · 23 juil. 2024The result is a model that, at least according to Meta's benchmarks, is ahead of larger, more proprietary systems from OpenAI and Anthropic on a variety of benchmarks.
Meta Llama 3.1 is out now — here's how to try it for free · tomsguide.com · 24 juil. 2024quickly gained a reputation as one of the most powerful and useful models available

Sentiment au fil du tempsPositif

Sentiment

Sentiment au fil du temps
Introducing Llama 3.1: Our most capable models to date · 23 juil. 2024	0.70
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · 23 juil. 2024	0.50
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · 23 juil. 2024	0.60
Meta Llama 3.1 is out now — here's how to try it for free · 24 juil. 2024	0.80

Noms alternatifs

Llama 3.1
Alias

Photos des utilisateurs

Photos de lecteurs, distinctes des médias sourcés du pin. Notez ce que vous avez mangé ou vu et, sur un pin de restaurant, identifiez les plats directement sur votre photo.

Commentaires

Références 6CONFIANCE 84 %Confiance globale: 84%Dans quelle mesure la source et les références du pin étayent ses dates.Moyenne pondérée de la fermeté avec laquelle 6 références, source comprise, étayent les heures de début et de fin de l’épingle ; une référence compte moitié moins pour chaque tranche de 180 jours d’ancienneté par rapport à la plus récenteAfficher toutes les épingles à 75 % de confiance ou plus

La première entrée est toujours la source de l’épingle. La confiance globale est une moyenne pondérée de la fermeté avec laquelle chaque référence étaye les heures de début et de fin retenues ci-dessus ; une référence compte moitié moins pour chaque tranche de 180 jours d’ancienneté par rapport à la plus récente.

[1]90%
ai.meta.com/blog/meta-llama-3-1
ai.meta.com· Publié le 12 oct. 2026· Début 23 juil. 2024 ✓· 32 % du score
Le billet de Meta 'Introducing Llama 3.1: Our most capable models to date' est daté du 23 juillet 2024 et indique que les modèles étaient disponibles au téléchargement ce jour-là ; la lettre ouverte de Zuckerberg et TechCrunch^[6] portent la même date.
[2]90%
Llama 3.1 Model Card - meta-llama/llama-models
github.com· Ajouté le 12 oct. 2026· 32 % du score
Meta's^[1] model card: 15T+ pretraining tokens, 39.3M H100-80GB GPU hours (30.84M for the 405B), December 2023 knowledge cutoff, Llama 3.1 Community License and the instruction-tuned benchmark table.
[3]70%
Llama (language model) - Wikipedia
en.wikipedia.org· Ajouté le 12 oct. 2026· 32 % du score
Dates the line: Llama 3 on 18 April 2024 with 8B and 70B, Llama 3.1 on 23 July 2024 with 8B, 70B and 405B, Llama 4 in April 2025.^[1]
[4]90%
The Llama 3 Herd of Models - arXiv
arxiv.org· Publié le 31 juil. 2024· 1 % du score
The technical paper: dense 405B Transformer with a context window of up to 128K tokens, performance comparable to GPT-4 on many tasks, plus Llama Guard 3 and the not-yet-released multimodal work.^[1]
[5]90%
Open Source AI Is the Path Forward - Meta
about.fb.com· Publié le 23 juil. 2024· 1 % du score
Mark Zuckerberg's open letter published with the release: 405B is the first frontier-level open source model, inference at roughly 50% of the cost of closed models like GPT-4o, and the partners (Amazon, Databricks, NVIDIA, Groq, Dell, Scale.AI).^[1]

Suggérer une correction

Il manque quelque chose ou une erreur s'est glissée ? Dites-le avec vos mots : un lien qui étaye cette épingle, une autre date de début ou de fin et pourquoi, ou une information absente ou erronée. L'IA la vérifie au regard des sources de l'épingle, en cherche de meilleures et ajoute toute page qui vous donne raison. Les sources de l'épingle restent celles qui comptent le plus. L'IA regarde aussi les images : une image qui montre autre chose, ou qui le montre mal, passe en dernier ou est remplacée.

Meta a lancé Llama 3.1 le 23 juillet 2024 en trois tailles, un 8B et un 70B mis à jour et un nouveau 405B qu'elle a présenté comme le premier modèle d'IA open source de niveau frontière, avec des poids téléchargeables gratuitement sur llama.meta.com et Hugging Face^[1][5]
Il est arrivé trois mois après Llama 3 (18 avril 2024, 8B et 70B) et offre une fenêtre de contexte de 128K tokens^[1][3]
Le 405B a été entraîné sur plus de 15 000 milliards de tokens avec plus de 16,000 GPU H100, comme un transformeur dense standard à décodeur seul plutôt qu'un mélange d'experts ; la fiche de Meta compte 39.3M d'heures de GPU pour les trois tailles, dont 30.84M pour le 405B^[1][2][6]
Meta a évalué le modèle sur plus de 150 jeux de données de référence ainsi que par des évaluations humaines et a jugé le 405B compétitif face à GPT-4, GPT-4o et Claude 3.5 Sonnet ; selon TechCrunch, il est à égalité avec GPT-4 et mitigé face à GPT-4o et Claude 3.5 Sonnet, derrière Claude en programmation et en raisonnement général^[1][6]
La licence a changé pour permettre aux développeurs d'utiliser les sorties de Llama, y compris celles du 405B, afin d'améliorer d'autres modèles (distillation et données synthétiques), tandis que les applications comptant plus de 700 millions d'utilisateurs mensuels doivent toujours obtenir une licence spéciale^[1][2][6]
Le 8B est le petit modèle du graphique : il obtient 69.4 sur MMLU, 72.6 sur HumanEval et 84.5 sur GSM-8K en version instruct, contre 87.3, 89.0 et 96.8 pour le 405B^[2]

Principales fonctionnalités

Contexte de 128K et huit langues prises en charge, avec utilisation d'outils, pilotabilité, mathématiques, traduction et appel de fonctions intégrés^[1][6]
Le 405B est quantifié de BF16 en 16 bits à FP8 en 8 bits afin de pouvoir tourner sur un seul nœud serveur^[1]
Sécurité et outils publiés en même temps : Llama Guard 3 (multilingue), Prompt Guard contre l'injection de prompts, un système de référence et les interfaces standard Llama Stack en demande de commentaires^[1]
Plus de 25 partenaires ont lancé des services dès le premier jour, dont AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud et Snowflake ; Meta a indiqué que Llama avait dépassé les 300 millions de téléchargements, et le 405B alimentait aussi Meta AI dans WhatsApp pour les utilisateurs américains^[1][6]
La lettre de Zuckerberg soutient que l'open source l'emporte parce que les développeurs peuvent affiner, distiller et exécuter les modèles eux-mêmes, et estime l'inférence du 405B à environ la moitié du coût de GPT-4o^[5]

Benchmarks^[2]

Benchmark	Llama 3.1 8B Instruct	Llama 3.1 70B Instruct	Llama 3.1 405B Instruct
MMLU (5-shot)	69.4	83.6	87.3
MMLU (CoT, 0-shot)	73.0	86.0	88.6
MMLU-Pro (CoT, 5-shot)	48.3	66.4	73.3
IFEval	80.4	87.5	88.6
ARC-C (0-shot)	83.4	94.8	96.9
GPQA (0-shot)	30.4	46.7	50.7
HumanEval (pass@1)	72.6	80.5	89.0
MBPP++ base (pass@1)	72.8	86.0	88.6
MultiPL-E HumanEval (pass@1)	50.8	65.5	75.2
MultiPL-E MBPP (pass@1)	52.4	62.0	65.7
GSM-8K (CoT, 8-shot)	84.5	95.1	96.8
MATH (CoT, 0-shot)	51.9	68.0	73.8
API-Bank (0-shot)	82.6	90.0	92.0
BFCL (0-shot)	76.1	84.8	88.5
Gorilla API-Bench (0-shot)	8.2	29.7	35.3
Nexus (0-shot)	38.5	56.7	58.7
Multilingual MGSM (CoT, 0-shot)	68.9	86.9	91.6

Suggérer une correction

Commentaires

Llama 3.1 8B, 70B et 405B lancés

Principales fonctionnalités

Benchmarks[2]

Tags

Fil

Benchmarks^[2]