Language model rubric2026 criteria

Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.1 405B named (8B and 70B ship alongside; 23 Jul 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's headline benchmarks (e.g. MMLU, GPQA) are not comparable to the anchors. Context 128k (Meta blog) -> 1. Price: Meta published no list price; hosted launch-week price for 405B was Together Turbo $5.00 per 1M in/out (Wayback 30 Jul 2024; Fireworks listed $3.00) -> 3.5. Speed null. Modalities 1: text only (TechCrunch). Reviews are launch coverage and commentary relaying Meta's benchmarks (Simon Willison, Interconnects, The Register, Tom's Guide); no hands-on test of the 405B opened.^[1]

Reviews

Introducing Llama 3.1: Our most capable models to date · simonwillison.net · 23.07.2024it really is benchmarking in that GPT-4+ class, competitive with both GPT-4o and Claude 3.5 Sonnet.
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · interconnects.ai · 23.07.2024The 405 billion parameter model is directly in the ballpark of Anthropic's Claude 3 and OpenAI's GPT-4o.
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · theregister.com · 23.07.2024The result is a model that, at least according to Meta's benchmarks, is ahead of larger, more proprietary systems from OpenAI and Anthropic on a variety of benchmarks.
Meta Llama 3.1 is out now — here's how to try it for free · tomsguide.com · 24.07.2024quickly gained a reputation as one of the most powerful and useful models available

Stimmung im ZeitverlaufPositiv

Stimmung

Stimmung im Zeitverlauf
Introducing Llama 3.1: Our most capable models to date · 23.07.2024	0.70
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · 23.07.2024	0.50
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · 23.07.2024	0.60
Meta Llama 3.1 is out now — here's how to try it for free · 24.07.2024	0.80

Alternative Namen

Llama 3.1
Alias

Thread

Auf diesen Pin antworten

Nutzerfotos

Fotos von Lesern, getrennt von den belegten Medien des Pins. Bewerte, was du gegessen oder gesehen hast, und markiere bei einem Restaurant-Pin die Gerichte direkt auf deinem Foto.

Kommentare

Belege 684 % SICHERHEITGesamtvertrauen: 84%Wie gut die Quelle und die Belege des Pins seine Termine stützen.Gewichteter Durchschnitt, wie fest 6 Belege einschließlich der Quelle die Start- und Endzeiten des Pins stützen; ein Beleg zählt für je 180 Tage, die er älter ist als der neueste, nur halb so vielAlle Pins mit mindestens 75 % Sicherheit anzeigen

Der erste Eintrag ist immer die Quelle des Pins. Die Gesamtsicherheit ist ein gewichteter Durchschnitt, wie fest jeder Beleg die oben verwendeten Start- und Endzeiten stützt; ein Beleg zählt für je 180 Tage, die er älter ist als der neueste, nur halb so viel.

[1]90%
ai.meta.com/blog/meta-llama-3-1
ai.meta.com· Gepostet am 12. Okt. 2026· Beginn 23. Juli 2024 ✓· 32 % der Wertung
Metas Beitrag 'Introducing Llama 3.1: Our most capable models to date' ist auf den 23. Juli 2024 datiert und besagt, dass die Modelle an diesem Tag zum Download bereitstanden; Zuckerbergs offener Brief und TechCrunch^[6] tragen dasselbe Datum.
[2]90%
Llama 3.1 Model Card - meta-llama/llama-models
github.com· Hinzugefügt am 12. Okt. 2026· 32 % der Wertung
Meta's^[1] model card: 15T+ pretraining tokens, 39.3M H100-80GB GPU hours (30.84M for the 405B), December 2023 knowledge cutoff, Llama 3.1 Community License and the instruction-tuned benchmark table.
[3]70%
Llama (language model) - Wikipedia
en.wikipedia.org· Hinzugefügt am 12. Okt. 2026· 32 % der Wertung
Dates the line: Llama 3 on 18 April 2024 with 8B and 70B, Llama 3.1 on 23 July 2024 with 8B, 70B and 405B, Llama 4 in April 2025.^[1]
[4]90%
The Llama 3 Herd of Models - arXiv
arxiv.org· Veröffentlicht am 31. Juli 2024· 1 % der Wertung
The technical paper: dense 405B Transformer with a context window of up to 128K tokens, performance comparable to GPT-4 on many tasks, plus Llama Guard 3 and the not-yet-released multimodal work.^[1]
[5]90%
Open Source AI Is the Path Forward - Meta
about.fb.com· Veröffentlicht am 23. Juli 2024· 1 % der Wertung
Mark Zuckerberg's open letter published with the release: 405B is the first frontier-level open source model, inference at roughly 50% of the cost of closed models like GPT-4o, and the partners (Amazon, Databricks, NVIDIA, Groq, Dell, Scale.AI).^[1]

Korrektur vorschlagen

Fehlt etwas oder stimmt etwas nicht? Sag es in deinen eigenen Worten: ein Link, der diesen Pin belegt, ein anderes Start- oder Enddatum und warum, oder eine Angabe, die fehlt oder falsch ist. Die KI prüft es an den Quellen dieses Pins, sucht nach besseren und ergänzt jede Seite, die dich bestätigt. Die eigenen Quellen des Pins zählen weiterhin am meisten. Auch Bilder sieht sich die KI an: Eines, das etwas anderes oder die Sache schlecht zeigt, wird nach hinten gestellt oder ersetzt.

Meta veröffentlichte Llama 3.1 am 23. Juli 2024 in drei Größen, einem aktualisierten 8B und 70B sowie einem neuen 405B, das es als erstes quelloffenes KI-Modell auf Spitzenniveau bezeichnete, mit kostenlos herunterladbaren Gewichten von llama.meta.com und Hugging Face^[1][5]
Es erschien drei Monate nach Llama 3 (18. April 2024, 8B und 70B) und bietet ein Kontextfenster von 128K Tokens^[1][3]
Das 405B wurde mit mehr als 15 Billionen Tokens auf über 16,000 H100-GPUs trainiert, als standardmäßiger dichter Decoder-only-Transformer statt als Mixture of Experts; Metas Modellkarte nennt 39.3M GPU-Stunden für alle drei Größen, davon 30.84M für das 405B^[1][2][6]
Meta evaluierte mit mehr als 150 Benchmark-Datensätzen sowie menschlichen Bewertungen und nannte das 405B konkurrenzfähig mit GPT-4, GPT-4o und Claude 3.5 Sonnet; TechCrunch sieht es auf Augenhöhe mit GPT-4 und gemischt gegenüber GPT-4o und Claude 3.5 Sonnet, hinter Claude bei Programmierung und allgemeinem Schlussfolgern^[1][6]
Die Lizenz wurde geändert, sodass Entwickler Llama-Ausgaben, auch vom 405B, zur Verbesserung anderer Modelle nutzen dürfen (Destillation und synthetische Daten), während Apps mit mehr als 700 Millionen monatlichen Nutzern weiterhin eine Sonderlizenz benötigen^[1][2][6]
Das 8B ist das im Diagramm dargestellte kleine Modell: Als Instruct-Modell erreicht es 69.4 bei MMLU, 72.6 bei HumanEval und 84.5 bei GSM-8K, gegenüber 87.3, 89.0 und 96.8 beim 405B^[2]

Wichtige Funktionen

128K Kontext und acht unterstützte Sprachen, mit integrierter Werkzeugnutzung, Steuerbarkeit, Mathematik, Übersetzung und Funktionsaufrufen^[1][6]
Das 405B wird von 16-Bit-BF16 auf 8-Bit-FP8 quantisiert, damit es auf einem einzelnen Servernode laufen kann^[1]
Zeitgleich veröffentlichte Sicherheits- und Werkzeugkomponenten: Llama Guard 3 (mehrsprachig), Prompt Guard gegen Prompt-Injection, ein Referenzsystem und die Standardschnittstellen von Llama Stack als Request for Comments^[1]
Mehr als 25 Partner starteten am ersten Tag Dienste, darunter AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud und Snowflake; Meta sagte, Llama habe 300 Millionen Downloads überschritten, und das 405B trieb auch Meta AI in WhatsApp für US-Nutzer an^[1][6]
Zuckerbergs Brief argumentiert, Open Source gewinne, weil Entwickler Modelle selbst feinabstimmen, destillieren und betreiben können, und beziffert die Inferenz auf dem 405B auf etwa die Hälfte der Kosten von GPT-4o^[5]

Benchmarks^[2]

Benchmark	Llama 3.1 8B Instruct	Llama 3.1 70B Instruct	Llama 3.1 405B Instruct
MMLU (5-shot)	69.4	83.6	87.3
MMLU (CoT, 0-shot)	73.0	86.0	88.6
MMLU-Pro (CoT, 5-shot)	48.3	66.4	73.3
IFEval	80.4	87.5	88.6
ARC-C (0-shot)	83.4	94.8	96.9
GPQA (0-shot)	30.4	46.7	50.7
HumanEval (pass@1)	72.6	80.5	89.0
MBPP++ base (pass@1)	72.8	86.0	88.6
MultiPL-E HumanEval (pass@1)	50.8	65.5	75.2
MultiPL-E MBPP (pass@1)	52.4	62.0	65.7
GSM-8K (CoT, 8-shot)	84.5	95.1	96.8
MATH (CoT, 0-shot)	51.9	68.0	73.8
API-Bank (0-shot)	82.6	90.0	92.0
BFCL (0-shot)	76.1	84.8	88.5
Gorilla API-Bench (0-shot)	8.2	29.7	35.3
Nexus (0-shot)	38.5	56.7	58.7
Multilingual MGSM (CoT, 0-shot)	68.9	86.9	91.6

Korrektur vorschlagen

Kommentare

Llama 3.1 8B, 70B und 405B veröffentlicht

Wichtige Funktionen

Benchmarks[2]

Tags

Thread

Benchmarks^[2]