La primera entrada es siempre la fuente del pin. La confianza global es una media ponderada de la firmeza con la que cada referencia respalda las horas de inicio y fin usadas arriba; una referencia cuenta la mitad por cada 180 días que sea más antigua que la más reciente.
Anthropic[2]: «Hoy lanzamos Claude 3.5 Sonnet» y «ya está disponible de forma gratuita en Claude.ai»; el encabezado de la página ahora muestra el 21 de junio de 2024, pero TechCrunch[4] y AWS publicaron ambos el lanzamiento el 20 de junio de 2024 y el identificador del modelo es claude-3-5-sonnet-20240620.
Anthropic's[1] model card addendum: 59.4% on GPQA Diamond, 88.7% on MMLU (5-shot), 92.0% on HumanEval, 71.1% on MATH and 68.3% on MMMU, against Claude 3 Opus's 50.4%, 86.8%, 84.9%, 60.1% and 59.4%; 64% on the internal agentic coding evaluation against Opus's 38%.
"On June 20, 2024, Anthropic[1][2] released Claude 3.5 Sonnet, which, according to the company's own benchmarks, performed better than the larger Claude 3 Opus", alongside Artifacts, which previews code, SVG graphics or websites in a separate window.
TechCrunch, published 2024-06-20T14:00Z: Anthropic[1][2] "is releasing a powerful new generative AI model called Claude 3.5 Sonnet", about twice the speed of Claude 3 Opus, alongside Artifacts. It dates the launch 20 June, where Anthropic's own header now shows the 21 June UTC timestamp.
AWS News Blog, 20 JUN 2024: "Today, Anthropic[1][2] introduced Claude 3.5 Sonnet ... now available in Amazon Bedrock"; 80 percent cheaper than Opus and about 10 percent better than Claude 3 Opus on most vision benchmarks.
¿Falta algo o hay un error? Dilo con tus palabras: un enlace que respalde este pin, otra fecha de inicio o fin y por qué, o un dato que falta o está mal. La IA lo contrasta con las fuentes del pin, busca otras mejores y añade cualquier página que te dé la razón. Las fuentes del propio pin siguen contando más. La IA también mira las imágenes: una que muestra otra cosa, o la muestra mal, pasa al final o se sustituye.
| Precio de la API por 1M de tokens (entrada / salida) | $3 / $15 |
|---|
De la publicación de lanzamiento de Anthropic y su imagen de benchmarks; la publicación no indica salida máxima. · fuente
Anthropic released a new model this morning, and I think it's likely now the single best available LLM.
There is a new clear best (non-tiny) LLM. If you want to converse with an LLM, the correct answer is Claude Sonnet 3.5.
But it's more an incremental step than a monumental leap forward.
This makes Sonnet 3.5 potentially the most powerful model available today - at the same price as its predecessor.
Claude 3.5's Sonnet is "more intelligent" than Claude 3's Opus, and it delivers this quality at a far lower price point.
| Claude 3.5 Sonnet · 20 jun 2024 | 0.90 |
|---|---|
| Anthropic claims its latest model is best-in-class · 20 jun 2024 | 0.20 |
| Anthropic launches Claude 3.5, potentially the most capable AI model yet · 20 jun 2024 | 0.80 |
| Anthropic Sonnet 3.5 Sets New Benchmark Standards · 21 jun 2024 | 0.80 |
| On Claude 3.5 Sonnet · 24 jun 2024 | 0.90 |
Título original: Claude 3.5 Sonnet Released
| Prueba de referencia | Claude 3.5 Sonnet | Claude 3 Opus | GPT-4o | Gemini 1.5 Pro | Llama-400b (early snapshot) |
|---|---|---|---|---|---|
| Razonamiento de nivel de posgrado (GPQA, Diamond) | 59.4%* (0-shot CoT) | 50.4% (0-shot CoT) | 53.6% (0-shot CoT) | — | — |
| Conocimiento de nivel universitario (MMLU), 5-shot | 88.7%** (5-shot) | 86.8% (5-shot) | — | 85.9% (5-shot) | 86.1% (5-shot) |
| Conocimiento de nivel universitario (MMLU), 0-shot CoT | 88.3% (0-shot CoT) | 85.7% (0-shot CoT) | 88.7% (0-shot CoT) | — | — |
| Código (HumanEval) | 92.0% (0-shot) | 84.9% (0-shot) | 90.2% (0-shot) | 84.1% (0-shot) | 84.1% (0-shot) |
| Matemáticas multilingües (MGSM) | 91.6% (0-shot CoT) | 90.7% (0-shot CoT) | 90.5% (0-shot CoT) | 87.5% (8-shot) | — |
| Razonamiento sobre texto (DROP, puntuación F1) | 87.1 (3-shot) | 83.1 (3-shot) | 83.4 (3-shot) | 74.9 (variable shots) | 83.5 (3-shot, pre-trained model) |
| Evaluaciones mixtas (BIG-Bench-Hard) | 93.1% (3-shot CoT) | 86.8% (3-shot CoT) | — | 89.2% (3-shot CoT) | 85.3% (3-shot CoT, pre-trained model) |
| Resolución de problemas matemáticos (MATH) | 71.1% (0-shot CoT) | 60.1% (0-shot CoT) | 76.6% (0-shot CoT) | 67.7% (4-shot) | 57.8% (4-shot CoT) |
| Matemáticas de escuela primaria (GSM8K) | 96.4% (0-shot CoT) | 95.0% (0-shot CoT) | — | 90.8% (11-shot) | 94.1% (8-shot CoT) |
* Claude 3.5 Sonnet obtiene 67.2% en GPQA con 5-shot CoT y maj@32. ** Claude 3.5 Sonnet obtiene 90.4% en MMLU con instrucciones de tipo 5-shot CoT.
Epoch AI model database (Claude 3.5 Sonnet); Epoch's confidence in the figures: Speculative. Blank tiles are not published.