Language model rubric2026 criteria

Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.1 405B named (8B and 70B ship alongside; 23 Jul 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's headline benchmarks (e.g. MMLU, GPQA) are not comparable to the anchors. Context 128k (Meta blog) -> 1. Price: Meta published no list price; hosted launch-week price for 405B was Together Turbo $5.00 per 1M in/out (Wayback 30 Jul 2024; Fireworks listed $3.00) -> 3.5. Speed null. Modalities 1: text only (TechCrunch). Reviews are launch coverage and commentary relaying Meta's benchmarks (Simon Willison, Interconnects, The Register, Tom's Guide); no hands-on test of the 405B opened.^[1]

Reviews

Introducing Llama 3.1: Our most capable models to date · simonwillison.net · 23 lug 2024it really is benchmarking in that GPT-4+ class, competitive with both GPT-4o and Claude 3.5 Sonnet.
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · interconnects.ai · 23 lug 2024The 405 billion parameter model is directly in the ballpark of Anthropic's Claude 3 and OpenAI's GPT-4o.
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · theregister.com · 23 lug 2024The result is a model that, at least according to Meta's benchmarks, is ahead of larger, more proprietary systems from OpenAI and Anthropic on a variety of benchmarks.
Meta Llama 3.1 is out now — here's how to try it for free · tomsguide.com · 24 lug 2024quickly gained a reputation as one of the most powerful and useful models available

Sentiment nel tempoPositivo

Sentimento

Sentiment nel tempo
Introducing Llama 3.1: Our most capable models to date · 23 lug 2024	0.70
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · 23 lug 2024	0.50
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · 23 lug 2024	0.60
Meta Llama 3.1 is out now — here's how to try it for free · 24 lug 2024	0.80

Nomi alternativi

Llama 3.1
Alias

Thread

Rispondi a questo pin

Foto degli utenti

Foto dei lettori, separate dai media con fonti del pin. Valuta ciò che hai mangiato o visto e, su un pin di ristorante, tagga i piatti direttamente sulla tua foto.

Commenti

Fonti 6AFFIDABILITÀ 84%Affidabilità complessiva: 84%Quanto la fonte e le altre fonti del pin ne confermano le date.Media ponderata di quanto 6 fonti, compresa quella principale, confermano gli orari di inizio e fine del pin; una fonte conta la metà per ogni 180 giorni in più rispetto alla più recenteMostra tutti i pin con affidabilità pari o superiore al 75%

La prima voce è sempre la fonte del pin. L’affidabilità complessiva è una media ponderata di quanto ogni fonte conferma gli orari di inizio e fine indicati sopra; una fonte conta la metà per ogni 180 giorni in più rispetto alla più recente.

[1]90%
ai.meta.com/blog/meta-llama-3-1
ai.meta.com· Postato il 12 ott 2026· Inizio 23 lug 2024 ✓· 32% del punteggio
Il post di Meta 'Introducing Llama 3.1: Our most capable models to date' è datato 23 luglio 2024 e afferma che i modelli erano scaricabili quel giorno; la lettera aperta di Zuckerberg e TechCrunch^[6] riportano la stessa data.
[2]90%
Llama 3.1 Model Card - meta-llama/llama-models
github.com· Aggiunto il 12 ott 2026· 32% del punteggio
Meta's^[1] model card: 15T+ pretraining tokens, 39.3M H100-80GB GPU hours (30.84M for the 405B), December 2023 knowledge cutoff, Llama 3.1 Community License and the instruction-tuned benchmark table.
[3]70%
Llama (language model) - Wikipedia
en.wikipedia.org· Aggiunto il 12 ott 2026· 32% del punteggio
Dates the line: Llama 3 on 18 April 2024 with 8B and 70B, Llama 3.1 on 23 July 2024 with 8B, 70B and 405B, Llama 4 in April 2025.^[1]
[4]90%
The Llama 3 Herd of Models - arXiv
arxiv.org· Pubblicato il 31 lug 2024· 1% del punteggio
The technical paper: dense 405B Transformer with a context window of up to 128K tokens, performance comparable to GPT-4 on many tasks, plus Llama Guard 3 and the not-yet-released multimodal work.^[1]
[5]90%
Open Source AI Is the Path Forward - Meta
about.fb.com· Pubblicato il 23 lug 2024· 1% del punteggio
Mark Zuckerberg's open letter published with the release: 405B is the first frontier-level open source model, inference at roughly 50% of the cost of closed models like GPT-4o, and the partners (Amazon, Databricks, NVIDIA, Groq, Dell, Scale.AI).^[1]

Suggerisci una correzione

Manca qualcosa o c’è un errore? Dillo con parole tue: un link che conferma questo pin, una data di inizio o fine diversa e perché, o un fatto che manca o è sbagliato. L’IA lo confronta con le fonti del pin, ne cerca di migliori e aggiunge qualsiasi pagina ti dia ragione. Le fonti del pin contano comunque di più. Anche un’immagine che mostra altro, o lo mostra male, viene esaminata e spostata in basso o sostituita.

Meta ha rilasciato Llama 3.1 il 23 luglio 2024 in tre dimensioni, un 8B e un 70B aggiornati e un nuovo 405B che ha definito il primo modello di IA open source di livello frontier, con pesi scaricabili gratuitamente da llama.meta.com e Hugging Face^[1][5]
È arrivato tre mesi dopo Llama 3 (18 aprile 2024, 8B e 70B) e ha una finestra di contesto da 128K token^[1][3]
Il 405B è stato addestrato su oltre 15 trilioni di token usando più di 16,000 GPU H100, come transformer denso standard solo decoder anziché una mixture of experts; la scheda di Meta conta 39.3M ore di GPU per le tre dimensioni, 30.84M delle quali per il 405B^[1][2][6]
Meta ha valutato il modello su oltre 150 dataset di benchmark più valutazioni umane e ha definito il 405B competitivo con GPT-4, GPT-4o e Claude 3.5 Sonnet; la lettura di TechCrunch è che sia alla pari di GPT-4 e con risultati alterni rispetto a GPT-4o e Claude 3.5 Sonnet, dietro Claude in programmazione e ragionamento generale^[1][6]
La licenza è cambiata per permettere agli sviluppatori di usare gli output di Llama, compresi quelli del 405B, per migliorare altri modelli (distillazione e dati sintetici), mentre le app con più di 700 milioni di utenti mensili hanno ancora bisogno di una licenza speciale^[1][2][6]
L'8B è il modello piccolo mostrato nel grafico: ottiene 69.4 su MMLU, 72.6 su HumanEval e 84.5 su GSM-8K come modello instruct, contro 87.3, 89.0 e 96.8 del 405B^[2]

Funzionalità principali

Contesto da 128K e otto lingue supportate, con uso di strumenti, controllabilità, matematica, traduzione e chiamata di funzioni integrati^[1][6]
Il 405B è quantizzato da BF16 a 16 bit a FP8 a 8 bit così da poter girare su un singolo nodo server^[1]
Sicurezza e strumenti rilasciati insieme: Llama Guard 3 (multilingue), Prompt Guard contro la prompt injection, un sistema di riferimento e le interfacce standard di Llama Stack come richiesta di commenti^[1]
Più di 25 partner hanno lanciato servizi il primo giorno, tra cui AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud e Snowflake; Meta ha detto che Llama aveva superato i 300 milioni di download, e il 405B alimentava anche Meta AI su WhatsApp per gli utenti statunitensi^[1][6]
La lettera di Zuckerberg sostiene che l'open source vince perché gli sviluppatori possono ottimizzare, distillare ed eseguire i modelli da soli, e stima l'inferenza sul 405B a circa metà del costo di GPT-4o^[5]

Benchmark^[2]

Benchmark	Llama 3.1 8B Instruct	Llama 3.1 70B Instruct	Llama 3.1 405B Instruct
MMLU (5-shot)	69.4	83.6	87.3
MMLU (CoT, 0-shot)	73.0	86.0	88.6
MMLU-Pro (CoT, 5-shot)	48.3	66.4	73.3
IFEval	80.4	87.5	88.6
ARC-C (0-shot)	83.4	94.8	96.9
GPQA (0-shot)	30.4	46.7	50.7
HumanEval (pass@1)	72.6	80.5	89.0
MBPP++ base (pass@1)	72.8	86.0	88.6
MultiPL-E HumanEval (pass@1)	50.8	65.5	75.2
MultiPL-E MBPP (pass@1)	52.4	62.0	65.7
GSM-8K (CoT, 8-shot)	84.5	95.1	96.8
MATH (CoT, 0-shot)	51.9	68.0	73.8
API-Bank (0-shot)	82.6	90.0	92.0
BFCL (0-shot)	76.1	84.8	88.5
Gorilla API-Bench (0-shot)	8.2	29.7	35.3
Nexus (0-shot)	38.5	56.7	58.7
Multilingual MGSM (CoT, 0-shot)	68.9	86.9	91.6

Suggerisci una correzione

Commenti

Llama 3.1 8B, 70B e 405B rilasciati

Funzionalità principali

Benchmark[2]

Tag

Thread

Benchmark^[2]