A primeira entrada é sempre a fonte do pin. A confiança geral é uma média ponderada de quanto cada referência sustenta os horários de início e fim usados acima; uma referência conta metade a cada 180 dias a mais em relação à mais recente.
Anthropic[2]: “Hoje, estamos lançando o Claude 3.5 Sonnet” e ele “já está disponível gratuitamente no Claude.ai”; o cabeçalho da página agora mostra 21 de jun. de 2024, mas a TechCrunch[4] e a AWS publicaram o lançamento em 20 de junho de 2024 e o ID do modelo é claude-3-5-sonnet-20240620.
Anthropic's[1] model card addendum: 59.4% on GPQA Diamond, 88.7% on MMLU (5-shot), 92.0% on HumanEval, 71.1% on MATH and 68.3% on MMMU, against Claude 3 Opus's 50.4%, 86.8%, 84.9%, 60.1% and 59.4%; 64% on the internal agentic coding evaluation against Opus's 38%.
"On June 20, 2024, Anthropic[1][2] released Claude 3.5 Sonnet, which, according to the company's own benchmarks, performed better than the larger Claude 3 Opus", alongside Artifacts, which previews code, SVG graphics or websites in a separate window.
TechCrunch, published 2024-06-20T14:00Z: Anthropic[1][2] "is releasing a powerful new generative AI model called Claude 3.5 Sonnet", about twice the speed of Claude 3 Opus, alongside Artifacts. It dates the launch 20 June, where Anthropic's own header now shows the 21 June UTC timestamp.
AWS News Blog, 20 JUN 2024: "Today, Anthropic[1][2] introduced Claude 3.5 Sonnet ... now available in Amazon Bedrock"; 80 percent cheaper than Opus and about 10 percent better than Claude 3 Opus on most vision benchmarks.
Falta algo ou há um erro? Diga com suas palavras: um link que sustente este pin, uma data de início ou fim diferente e por quê, ou um fato que falta ou está errado. A IA confere isso com as fontes do pin, procura outras melhores e adiciona qualquer página que dê razão a você. As fontes do próprio pin continuam contando mais. Uma imagem que mostra outra coisa, ou mostra mal, também é analisada e rebaixada ou substituída.
| Preço da API por 1M de tokens (entrada / saída) | $3 / $15 |
|---|
Da publicação de lançamento da Anthropic e da imagem de benchmarks; a publicação não informa a saída máxima. · fonte
Anthropic released a new model this morning, and I think it's likely now the single best available LLM.
There is a new clear best (non-tiny) LLM. If you want to converse with an LLM, the correct answer is Claude Sonnet 3.5.
But it's more an incremental step than a monumental leap forward.
This makes Sonnet 3.5 potentially the most powerful model available today - at the same price as its predecessor.
Claude 3.5's Sonnet is "more intelligent" than Claude 3's Opus, and it delivers this quality at a far lower price point.
| Claude 3.5 Sonnet · 20 de jun. de 2024 | 0.90 |
|---|---|
| Anthropic claims its latest model is best-in-class · 20 de jun. de 2024 | 0.20 |
| Anthropic launches Claude 3.5, potentially the most capable AI model yet · 20 de jun. de 2024 | 0.80 |
| Anthropic Sonnet 3.5 Sets New Benchmark Standards · 21 de jun. de 2024 | 0.80 |
| On Claude 3.5 Sonnet · 24 de jun. de 2024 | 0.90 |
Título original: Claude 3.5 Sonnet Released
| Benchmark | Claude 3.5 Sonnet | Claude 3 Opus | GPT-4o | Gemini 1.5 Pro | Llama-400b (early snapshot) |
|---|---|---|---|---|---|
| Raciocínio de nível de pós-graduação (GPQA, Diamond) | 59,4%* (0-shot CoT) | 50,4% (0-shot CoT) | 53,6% (0-shot CoT) | — | — |
| Conhecimento de nível de graduação (MMLU), 5-shot | 88,7%** (5-shot) | 86,8% (5-shot) | — | 85,9% (5-shot) | 86,1% (5-shot) |
| Conhecimento de nível de graduação (MMLU), 0-shot CoT | 88,3% (0-shot CoT) | 85,7% (0-shot CoT) | 88,7% (0-shot CoT) | — | — |
| Código (HumanEval) | 92,0% (0-shot) | 84,9% (0-shot) | 90,2% (0-shot) | 84,1% (0-shot) | 84,1% (0-shot) |
| Matemática multilíngue (MGSM) | 91,6% (0-shot CoT) | 90,7% (0-shot CoT) | 90,5% (0-shot CoT) | 87,5% (8-shot) | — |
| Raciocínio sobre texto (DROP, F1 score) | 87,1 (3-shot) | 83,1 (3-shot) | 83,4 (3-shot) | 74,9 (shots variáveis) | 83,5 (3-shot, modelo pré-treinado) |
| Avaliações mistas (BIG-Bench-Hard) | 93,1% (3-shot CoT) | 86,8% (3-shot CoT) | — | 89,2% (3-shot CoT) | 85,3% (3-shot CoT, modelo pré-treinado) |
| Resolução de problemas matemáticos (MATH) | 71,1% (0-shot CoT) | 60,1% (0-shot CoT) | 76,6% (0-shot CoT) | 67,7% (4-shot) | 57,8% (4-shot CoT) |
| Matemática do ensino fundamental (GSM8K) | 96,4% (0-shot CoT) | 95,0% (0-shot CoT) | — | 90,8% (11-shot) | 94,1% (8-shot CoT) |
* O Claude 3.5 Sonnet marca 67,2% no GPQA com CoT de 5-shot e maj@32. ** O Claude 3.5 Sonnet marca 90,4% no MMLU com prompts CoT de 5-shot.
Epoch AI model database (Claude 3.5 Sonnet); Epoch's confidence in the figures: Speculative. Blank tiles are not published.