Der erste Eintrag ist immer die Quelle des Pins. Die Gesamtsicherheit ist ein gewichteter Durchschnitt, wie fest jeder Beleg die oben verwendeten Start- und Endzeiten stützt; ein Beleg zählt für je 180 Tage, die er älter ist als der neueste, nur halb so viel.
Anthropic[2]: „Heute veröffentlichen wir Claude 3.5 Sonnet“, und es sei „jetzt kostenlos auf Claude.ai verfügbar“; die Kopfzeile der Seite zeigt inzwischen Jun 21, 2024, doch TechCrunch[4] und AWS veröffentlichten den Launch beide am 20. Juni 2024, und die Modell-ID lautet claude-3-5-sonnet-20240620.
Anthropic's[1] model card addendum: 59.4% on GPQA Diamond, 88.7% on MMLU (5-shot), 92.0% on HumanEval, 71.1% on MATH and 68.3% on MMMU, against Claude 3 Opus's 50.4%, 86.8%, 84.9%, 60.1% and 59.4%; 64% on the internal agentic coding evaluation against Opus's 38%.
"On June 20, 2024, Anthropic[1][2] released Claude 3.5 Sonnet, which, according to the company's own benchmarks, performed better than the larger Claude 3 Opus", alongside Artifacts, which previews code, SVG graphics or websites in a separate window.
TechCrunch, published 2024-06-20T14:00Z: Anthropic[1][2] "is releasing a powerful new generative AI model called Claude 3.5 Sonnet", about twice the speed of Claude 3 Opus, alongside Artifacts. It dates the launch 20 June, where Anthropic's own header now shows the 21 June UTC timestamp.
AWS News Blog, 20 JUN 2024: "Today, Anthropic[1][2] introduced Claude 3.5 Sonnet ... now available in Amazon Bedrock"; 80 percent cheaper than Opus and about 10 percent better than Claude 3 Opus on most vision benchmarks.
Fehlt etwas oder stimmt etwas nicht? Sag es in deinen eigenen Worten: ein Link, der diesen Pin belegt, ein anderes Start- oder Enddatum und warum, oder eine Angabe, die fehlt oder falsch ist. Die KI prüft es an den Quellen dieses Pins, sucht nach besseren und ergänzt jede Seite, die dich bestätigt. Die eigenen Quellen des Pins zählen weiterhin am meisten. Auch Bilder sieht sich die KI an: Eines, das etwas anderes oder die Sache schlecht zeigt, wird nach hinten gestellt oder ersetzt.
| API-Preis pro 1M Tokens (Eingabe / Ausgabe) | $3 / $15 |
|---|
Aus Anthropics Launch-Beitrag und dessen Benchmark-Bild; der Beitrag nennt keine maximale Ausgabe. · Quelle
Anthropic released a new model this morning, and I think it's likely now the single best available LLM.
There is a new clear best (non-tiny) LLM. If you want to converse with an LLM, the correct answer is Claude Sonnet 3.5.
But it's more an incremental step than a monumental leap forward.
This makes Sonnet 3.5 potentially the most powerful model available today - at the same price as its predecessor.
Claude 3.5's Sonnet is "more intelligent" than Claude 3's Opus, and it delivers this quality at a far lower price point.
| Claude 3.5 Sonnet · 20.06.2024 | 0.90 |
|---|---|
| Anthropic claims its latest model is best-in-class · 20.06.2024 | 0.20 |
| Anthropic launches Claude 3.5, potentially the most capable AI model yet · 20.06.2024 | 0.80 |
| Anthropic Sonnet 3.5 Sets New Benchmark Standards · 21.06.2024 | 0.80 |
| On Claude 3.5 Sonnet · 24.06.2024 | 0.90 |
Originaltitel: Claude 3.5 Sonnet Released
| Benchmark | Claude 3.5 Sonnet | Claude 3 Opus | GPT-4o | Gemini 1.5 Pro | Llama-400b (früher Snapshot) |
|---|---|---|---|---|---|
| Schlussfolgern auf Graduiertenniveau (GPQA, Diamond) | 59,4 %* (0-shot CoT) | 50,4 % (0-shot CoT) | 53,6 % (0-shot CoT) | — | — |
| Wissen auf Bachelor-Niveau (MMLU), 5-shot | 88,7 %** (5-shot) | 86,8 % (5-shot) | — | 85,9 % (5-shot) | 86,1 % (5-shot) |
| Wissen auf Bachelor-Niveau (MMLU), 0-shot CoT | 88,3 % (0-shot CoT) | 85,7 % (0-shot CoT) | 88,7 % (0-shot CoT) | — | — |
| Code (HumanEval) | 92,0 % (0-shot) | 84,9 % (0-shot) | 90,2 % (0-shot) | 84,1 % (0-shot) | 84,1 % (0-shot) |
| Mehrsprachige Mathematik (MGSM) | 91,6 % (0-shot CoT) | 90,7 % (0-shot CoT) | 90,5 % (0-shot CoT) | 87,5 % (8-shot) | — |
| Schlussfolgern über Text (DROP, F1-Wert) | 87,1 (3-shot) | 83,1 (3-shot) | 83,4 (3-shot) | 74,9 (variable Shot-Anzahl) | 83,5 (3-shot, vortrainiertes Modell) |
| Gemischte Bewertungen (BIG-Bench-Hard) | 93,1 % (3-shot CoT) | 86,8 % (3-shot CoT) | — | 89,2 % (3-shot CoT) | 85,3 % (3-shot CoT, vortrainiertes Modell) |
| Mathematisches Problemlösen (MATH) | 71,1 % (0-shot CoT) | 60,1 % (0-shot CoT) | 76,6 % (0-shot CoT) | 67,7 % (4-shot) | 57,8 % (4-shot CoT) |
| Grundschulmathematik (GSM8K) | 96,4 % (0-shot CoT) | 95,0 % (0-shot CoT) | — | 90,8 % (11-shot) | 94,1 % (8-shot CoT) |
* Claude 3.5 Sonnet erreicht 67,2 % bei 5-shot-CoT-GPQA mit maj@32. ** Claude 3.5 Sonnet erreicht 90,4 % bei MMLU mit 5-shot-CoT-Prompting.
Epoch AI model database (Claude 3.5 Sonnet); Epoch's confidence in the figures: Speculative. Blank tiles are not published.