CONFIRMADOCerteza de la fecha: CONFIRMADOAnunciado como firmeCon qué firmeza la fuente expresa la fecha: confirmada, programada, estimada, retrasada o sin verificar.Ver todos los pines CONFIRMADO87% DE CONFIANZAConfianza general: 87%Hasta qué punto la fuente y las referencias del pin respaldan sus fechas.Media ponderada de la firmeza con la que 6 referencias, incluida la fuente, respaldan las horas de inicio y fin del pin; una referencia cuenta la mitad por cada 180 días que sea más antigua que la más recienteMostrar todos los pines con un 75% de confianza o más
La ficha del modelo de Meta indica 'Model Release Date: 70B Instruct: December 6, 2024'; el artículo de TechCrunch[5] tiene fecha del 6 de diciembre de 2024 y OpenRouter[6] registra meta-llama/llama-3.3-70b-instruct como creado ese mismo día.- Inicio
- 6 dic 202490% DE CONFIANZAsegún la fuente
Lanzamiento de Llama 3.3 70B
Traducido automáticamente del original
Título original: Llama 3.3 70B Released
Meta lanza Llama 3.3 70B, un modelo de 70B de solo texto ajustado por instrucciones que, según Meta, ofrece el rendimiento del Llama 3.1 de 405B a menor costo, con una ventana de contexto de 128K y pesos abiertos; el gráfico de Meta lo fija en $0.1 por millón de tokens de entrada.
- Meta lanzó Llama 3.3 70B el 6 de diciembre de 2024, unos cuatro meses y medio después de Llama 3.1, un modelo de 70B ajustado por instrucciones, con entrada y salida de texto, que según Meta 'ofrece el rendimiento del modelo Llama más grande de Meta, Llama 3.1 405B, a menor costo'; el vicepresidente de IA generativa Ahmad Al-Dahle dijo que 'mejora el rendimiento central con un costo significativamente menor'[1][5]
- Se distribuye como un único modelo de 70B, preentrenado con unos 15 billones de tokens de fuentes públicas con corte en diciembre de 2023, y Meta lo ajustó con datos públicos de instrucciones más más de 25M de ejemplos sintéticos mediante SFT y RLHF; Meta indica 7.0M de horas de GPU H100-80GB[1][4]
- En la tabla de Meta para modelos ajustados por instrucciones, iguala a Llama 3.1 70B en MMLU (CoT, 86.0) y lo supera en MMLU Pro (68.9 frente a 66.4), IFEval (92.1 frente a 87.5), HumanEval (88.4 frente a 80.5), MATH (77.0 frente a 68.0) y MGSM (91.1 frente a 86.9); en IFEval, MATH y GPQA Diamond (50.5 frente a 49.0) también supera ligeramente al de 405B[1][4]
- Frente a rivales cerrados en el gráfico de Meta, supera a GPT-4o en IFEval (92.1 frente a 84.6), HumanEval (88.4 frente a 86.0) y MATH (77.0 frente a 76.9), pero queda por detrás en MMLU Pro (68.9 frente a 73.8), y Claude 3.5 Sonnet y Gemini 1.5 Pro siguen por delante en varias filas de programación y matemáticas[2][3]
- La fila de costos del mismo gráfico es el argumento de venta: $0.1 por millón de tokens de entrada y $0.4 por millón de tokens de salida, el precio más barato entre proveedores, frente a $2.5 y $10 de GPT-4o, $3 y $15 de Claude 3.5 Sonnet, $0.80 y $3.20 de Amazon Nova Pro y $1.0 y $1.8 de Llama 3.1 405B; OpenRouter lo lista hoy a $0.22 y $0.50[2][6]
- Se publica bajo la Llama 3.3 Community License, que pide a las plataformas con más de 700 millones de usuarios mensuales solicitar una licencia especial; TechCrunch informó que Llama superaba 650 millones de descargas, Meta AI casi 600 millones de usuarios mensuales y Zuckerberg dijo que entrenar Llama 4 requeriría 10x el cómputo de Llama 3, con Meta habiendo adquirido un clúster de más de 100,000 GPU de Nvidia[4][5]
Características destacadas
- Contexto de 128k tokens, atención de consultas agrupadas, salida multilingüe de texto y código; los ocho idiomas oficialmente admitidos son inglés, alemán, francés, italiano, portugués, hindi, español y tailandés, aunque el entrenamiento abarcó más[4]
- Solo texto: no admite imágenes, a diferencia de los modelos de visión Llama 3.2 que Meta había lanzado en septiembre[4]
- Llama 3.3 también permite, bajo su licencia, usar sus salidas para mejorar otros modelos, incluida la generación de datos sintéticos y la destilación[4]
- Distribución: Hugging Face (con acceso restringido), llama.com y GitHub de Meta, Ollama (`ollama pull llama3.3:70b`, unos 42 GB), Groq y proveedores como Deep Infra, Hyperbolic, Fireworks y Together AI[3][5]
- Meta lo describe como una opción de inferencia rentable que puede ejecutarse localmente en una estación de trabajo de desarrollador típica[2]
Benchmarks de Meta para los modelos ajustados por instrucciones[4]
| Prueba de referencia | Llama 3.1 8B | Llama 3.1 70B | Llama 3.3 70B | Llama 3.1 405B |
|---|---|---|---|---|
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 86.0 | 88.6 |
| MMLU Pro (CoT, 5-shot) | 48.3 | 66.4 | 68.9 | 73.3 |
| IFEval | 80.4 | 87.5 | 92.1 | 88.6 |
| GPQA Diamond (CoT) | 31.8 | 48.0 | 50.5 | 49.0 |
| HumanEval (pass@1) | 72.6 | 80.5 | 88.4 | 89.0 |
| MBPP EvalPlus (base) | 72.8 | 86.0 | 87.6 | 88.6 |
| MATH (CoT) | 51.9 | 68.0 | 77.0 | 73.8 |
| BFCL v2 | 65.4 | 77.5 | 77.3 | 81.1 |
| MGSM | 68.9 | 86.9 | 91.1 | 91.6 |