Hilo

Responder a este pin

Language model rubric2026 criteria

Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched; family pin, flagship Llama 3.1 405B named (8B and 70B ship alongside; 23 Jul 2024). Reasoning/coding null: no AA Intelligence Index or Terminal-Bench figure at launch; Meta's headline benchmarks (e.g. MMLU, GPQA) are not comparable to the anchors. Context 128k (Meta blog) -> 1. Price: Meta published no list price; hosted launch-week price for 405B was Together Turbo $5.00 per 1M in/out (Wayback 30 Jul 2024; Fireworks listed $3.00) -> 3.5. Speed null. Modalities 1: text only (TechCrunch). Reviews are launch coverage and commentary relaying Meta's benchmarks (Simon Willison, Interconnects, The Register, Tom's Guide); no hands-on test of the 405B opened.^[1]

Reviews

Introducing Llama 3.1: Our most capable models to date · simonwillison.net · 23 jul 2024it really is benchmarking in that GPT-4+ class, competitive with both GPT-4o and Claude 3.5 Sonnet.
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · interconnects.ai · 23 jul 2024The 405 billion parameter model is directly in the ballpark of Anthropic's Claude 3 and OpenAI's GPT-4o.
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · theregister.com · 23 jul 2024The result is a model that, at least according to Meta's benchmarks, is ahead of larger, more proprietary systems from OpenAI and Anthropic on a variety of benchmarks.
Meta Llama 3.1 is out now — here's how to try it for free · tomsguide.com · 24 jul 2024quickly gained a reputation as one of the most powerful and useful models available

Sentimiento a lo largo del tiempoPositiva

Opinión general

Sentimiento a lo largo del tiempo
Introducing Llama 3.1: Our most capable models to date · 23 jul 2024	0.70
Llama 3.1 405B, Meta's AI strategy, and the new, open frontier model ecosystem · 23 jul 2024	0.50
Meta says all new Llama 3.1 405B model bests OpenAI's GPT-4 · 23 jul 2024	0.60
Meta Llama 3.1 is out now — here's how to try it for free · 24 jul 2024	0.80

Nombres alternativos

Llama 3.1
Alias

Fotos de usuarios

Fotos de lectores, separadas de los medios con fuentes del pin. Valora lo que comiste o viste y, en un pin de restaurante, etiqueta los platos directamente en tu foto.

Comentarios

Referencias 684% DE CONFIANZAConfianza general: 84%Hasta qué punto la fuente y las referencias del pin respaldan sus fechas.Media ponderada de la firmeza con la que 6 referencias, incluida la fuente, respaldan las horas de inicio y fin del pin; una referencia cuenta la mitad por cada 180 días que sea más antigua que la más recienteMostrar todos los pines con un 75% de confianza o más

La primera entrada es siempre la fuente del pin. La confianza global es una media ponderada de la firmeza con la que cada referencia respalda las horas de inicio y fin usadas arriba; una referencia cuenta la mitad por cada 180 días que sea más antigua que la más reciente.

[1]90%
ai.meta.com/blog/meta-llama-3-1
ai.meta.com· Publicado el 12 oct 2026· Empieza 23 jul 2024 ✓· 32% de la puntuación
La publicación de Meta 'Introducing Llama 3.1: Our most capable models to date' tiene fecha del 23 de julio de 2024 y dice que los modelos estaban disponibles para descargar ese día; la carta abierta de Zuckerberg y TechCrunch^[6] llevan la misma fecha.
[2]90%
Llama 3.1 Model Card - meta-llama/llama-models
github.com· Añadido el 12 oct 2026· 32% de la puntuación
Meta's^[1] model card: 15T+ pretraining tokens, 39.3M H100-80GB GPU hours (30.84M for the 405B), December 2023 knowledge cutoff, Llama 3.1 Community License and the instruction-tuned benchmark table.
[3]70%
Llama (language model) - Wikipedia
en.wikipedia.org· Añadido el 12 oct 2026· 32% de la puntuación
Dates the line: Llama 3 on 18 April 2024 with 8B and 70B, Llama 3.1 on 23 July 2024 with 8B, 70B and 405B, Llama 4 in April 2025.^[1]
[4]90%
The Llama 3 Herd of Models - arXiv
arxiv.org· Publicado el 31 jul 2024· 1% de la puntuación
The technical paper: dense 405B Transformer with a context window of up to 128K tokens, performance comparable to GPT-4 on many tasks, plus Llama Guard 3 and the not-yet-released multimodal work.^[1]
[5]90%
Open Source AI Is the Path Forward - Meta
about.fb.com· Publicado el 23 jul 2024· 1% de la puntuación
Mark Zuckerberg's open letter published with the release: 405B is the first frontier-level open source model, inference at roughly 50% of the cost of closed models like GPT-4o, and the partners (Amazon, Databricks, NVIDIA, Groq, Dell, Scale.AI).^[1]

Sugerir una corrección

¿Falta algo o hay un error? Dilo con tus palabras: un enlace que respalde este pin, otra fecha de inicio o fin y por qué, o un dato que falta o está mal. La IA lo contrasta con las fuentes del pin, busca otras mejores y añade cualquier página que te dé la razón. Las fuentes del propio pin siguen contando más. La IA también mira las imágenes: una que muestra otra cosa, o la muestra mal, pasa al final o se sustituye.

Meta lanzó Llama 3.1 el 23 de julio de 2024 en tres tamaños, un 8B y un 70B actualizados y un nuevo 405B al que llamó el primer modelo de IA de código abierto de nivel de frontera, con pesos de descarga gratuita desde llama.meta.com y Hugging Face^[1][5]
Llegó tres meses después de Llama 3 (18 de abril de 2024, 8B y 70B) y tiene una ventana de contexto de 128K tokens^[1][3]
El 405B se entrenó con más de 15 billones de tokens usando más de 16,000 GPU H100, como un transformer denso estándar solo decodificador en lugar de una mezcla de expertos; la ficha de Meta cuenta 39.3M horas de GPU en los tres tamaños, 30.84M de ellas para el 405B^[1][2][6]
Meta evaluó en más de 150 conjuntos de datos de referencia además de evaluaciones humanas y calificó al 405B de competitivo con GPT-4, GPT-4o y Claude 3.5 Sonnet; la lectura de TechCrunch es que está a la par de GPT-4 y con resultados dispares frente a GPT-4o y Claude 3.5 Sonnet, por detrás de Claude en programación y razonamiento general^[1][6]
La licencia cambió para permitir a los desarrolladores usar las salidas de Llama, incluidas las del 405B, para mejorar otros modelos (destilación y datos sintéticos), mientras que las aplicaciones con más de 700 millones de usuarios mensuales siguen necesitando una licencia especial^[1][2][6]
El 8B es el modelo pequeño del gráfico: obtiene 69.4 en MMLU, 72.6 en HumanEval y 84.5 en GSM-8K como modelo instruct, frente a 87.3, 89.0 y 96.8 del 405B^[2]

Características destacadas

Contexto de 128K y ocho idiomas compatibles, con uso de herramientas, capacidad de dirección, matemáticas, traducción y llamada a funciones integrados^[1][6]
El 405B se cuantiza de BF16 de 16 bits a FP8 de 8 bits para poder ejecutarse en un solo nodo de servidor^[1]
Seguridad y herramientas publicadas junto con él: Llama Guard 3 (multilingüe), Prompt Guard contra la inyección de prompts, un sistema de referencia y las interfaces estándar de Llama Stack como solicitud de comentarios^[1]
Más de 25 socios lanzaron servicios el primer día, entre ellos AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud y Snowflake; Meta dijo que Llama había superado los 300 millones de descargas, y el 405B también impulsó Meta AI en WhatsApp para usuarios de EE. UU.^[1][6]
La carta de Zuckerberg sostiene que el código abierto gana porque los desarrolladores pueden ajustar, destilar y ejecutar los modelos por sí mismos, y estima la inferencia del 405B en aproximadamente la mitad del costo de GPT-4o^[5]

Pruebas de referencia^[2]

Prueba de referencia	Llama 3.1 8B Instruct	Llama 3.1 70B Instruct	Llama 3.1 405B Instruct
MMLU (5-shot)	69.4	83.6	87.3
MMLU (CoT, 0-shot)	73.0	86.0	88.6
MMLU-Pro (CoT, 5-shot)	48.3	66.4	73.3
IFEval	80.4	87.5	88.6
ARC-C (0-shot)	83.4	94.8	96.9
GPQA (0-shot)	30.4	46.7	50.7
HumanEval (pass@1)	72.6	80.5	89.0
MBPP++ base (pass@1)	72.8	86.0	88.6
MultiPL-E HumanEval (pass@1)	50.8	65.5	75.2
MultiPL-E MBPP (pass@1)	52.4	62.0	65.7
GSM-8K (CoT, 8-shot)	84.5	95.1	96.8
MATH (CoT, 0-shot)	51.9	68.0	73.8
API-Bank (0-shot)	82.6	90.0	92.0
BFCL (0-shot)	76.1	84.8	88.5
Gorilla API-Bench (0-shot)	8.2	29.7	35.3
Nexus (0-shot)	38.5	56.7	58.7
Multilingual MGSM (CoT, 0-shot)	68.9	86.9	91.6

Sugerir una corrección

Comentarios

Llama 3.1 8B, 70B y 405B lanzados

Características destacadas

Pruebas de referencia[2]

Etiquetas

Hilo

Pruebas de referencia^[2]