Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (Claude 3.5 Sonnet, 20 Jun 2024): 200K-token context and $3 in / $15 out per 1M tokens = $6 blended at 3:1 (both from Anthropic's announcement); text and image input. Anthropic said it runs at twice the speed of Claude 3 Opus but gave no tokens/s, so speed null. Reasoning null: no launch-version Artificial Analysis Intelligence Index entry was opened (AA now shows re-based v4.1 scores); Anthropic's headline GPQA/MMLU/HumanEval figures have no anchor. Coding null (no Terminal-Bench 4.0). Reviews: Willison, Zvi, TechCrunch, The Decoder, Synthedia; these are launch-week analyses with some first-hand use (Willison, Zvi), not systematic tests.[1]
Anthropic released a new model this morning, and I think it's likely now the single best available LLM.
There is a new clear best (non-tiny) LLM. If you want to converse with an LLM, the correct answer is Claude Sonnet 3.5.
But it's more an incremental step than a monumental leap forward.
This makes Sonnet 3.5 potentially the most powerful model available today - at the same price as its predecessor.
Claude 3.5's Sonnet is "more intelligent" than Claude 3's Opus, and it delivers this quality at a far lower price point.
| Claude 3.5 Sonnet · 20 thg 6, 2024 | 0.90 |
|---|---|
| Anthropic claims its latest model is best-in-class · 20 thg 6, 2024 | 0.20 |
| Anthropic launches Claude 3.5, potentially the most capable AI model yet · 20 thg 6, 2024 | 0.80 |
| Anthropic Sonnet 3.5 Sets New Benchmark Standards · 21 thg 6, 2024 | 0.80 |
| On Claude 3.5 Sonnet · 24 thg 6, 2024 | 0.90 |
Ảnh của độc giả, tách biệt với phương tiện có nguồn của ghim. Hãy chấm điểm món bạn đã ăn hoặc thấy, và với ghim nhà hàng, gắn thẻ món ngay trên ảnh của bạn.
Mục đầu tiên luôn là nguồn của ghim. Độ tin cậy tổng thể là trung bình có trọng số về mức độ mỗi tài liệu ủng hộ thời điểm bắt đầu và kết thúc được dùng ở trên; một tài liệu được tính giảm một nửa cho mỗi 180 ngày cũ hơn tài liệu mới nhất.
Anthropic[2]: “Hôm nay, chúng tôi ra mắt Claude 3.5 Sonnet” và mô hình “hiện có miễn phí trên Claude.ai”; phần đầu trang hiện nay ghi ngày Jun 21, 2024, nhưng TechCrunch[4] và AWS đều đăng về đợt ra mắt vào ngày 20 tháng 6 năm 2024 và mã mô hình là claude-3-5-sonnet-20240620.
Anthropic's[1] model card addendum: 59.4% on GPQA Diamond, 88.7% on MMLU (5-shot), 92.0% on HumanEval, 71.1% on MATH and 68.3% on MMMU, against Claude 3 Opus's 50.4%, 86.8%, 84.9%, 60.1% and 59.4%; 64% on the internal agentic coding evaluation against Opus's 38%.
"On June 20, 2024, Anthropic[1][2] released Claude 3.5 Sonnet, which, according to the company's own benchmarks, performed better than the larger Claude 3 Opus", alongside Artifacts, which previews code, SVG graphics or websites in a separate window.
TechCrunch, published 2024-06-20T14:00Z: Anthropic[1][2] "is releasing a powerful new generative AI model called Claude 3.5 Sonnet", about twice the speed of Claude 3 Opus, alongside Artifacts. It dates the launch 20 June, where Anthropic's own header now shows the 21 June UTC timestamp.
AWS News Blog, 20 JUN 2024: "Today, Anthropic[1][2] introduced Claude 3.5 Sonnet ... now available in Amazon Bedrock"; 80 percent cheaper than Opus and about 10 percent better than Claude 3 Opus on most vision benchmarks.
Thiếu hay sai điều gì? Hãy nói bằng lời của bạn: một liên kết củng cố ghim này, một ngày bắt đầu hoặc kết thúc khác kèm lý do, hoặc một thông tin còn thiếu hay sai. AI đối chiếu với các nguồn của ghim này, tìm nguồn tốt hơn và thêm mọi trang ủng hộ bạn. Các nguồn của chính ghim vẫn được tính nhiều nhất. Hình ảnh thể hiện nội dung khác hoặc thể hiện kém cũng được xem xét, rồi bị hạ xuống hoặc thay thế.
Tiêu đề gốc: Claude 3.5 Sonnet Released
| Chuẩn đánh giá | Claude 3.5 Sonnet | Claude 3 Opus | GPT-4o | Gemini 1.5 Pro | Llama-400b (bản chụp sớm) |
|---|---|---|---|---|---|
| Suy luận trình độ sau đại học (GPQA, Diamond) | 59.4%* (0-shot CoT) | 50.4% (0-shot CoT) | 53.6% (0-shot CoT) | — | — |
| Kiến thức trình độ đại học (MMLU), 5-shot | 88.7%** (5-shot) | 86.8% (5-shot) | — | 85.9% (5-shot) | 86.1% (5-shot) |
| Kiến thức trình độ đại học (MMLU), 0-shot CoT | 88.3% (0-shot CoT) | 85.7% (0-shot CoT) | 88.7% (0-shot CoT) | — | — |
| Mã (HumanEval) | 92.0% (0-shot) | 84.9% (0-shot) | 90.2% (0-shot) | 84.1% (0-shot) | 84.1% (0-shot) |
| Toán đa ngôn ngữ (MGSM) | 91.6% (0-shot CoT) | 90.7% (0-shot CoT) | 90.5% (0-shot CoT) | 87.5% (8-shot) | — |
| Suy luận trên văn bản (DROP, điểm F1) | 87.1 (3-shot) | 83.1 (3-shot) | 83.4 (3-shot) | 74.9 (số shot thay đổi) | 83.5 (3-shot, mô hình huấn luyện trước) |
| Đánh giá hỗn hợp (BIG-Bench-Hard) | 93.1% (3-shot CoT) | 86.8% (3-shot CoT) | — | 89.2% (3-shot CoT) | 85.3% (3-shot CoT, mô hình huấn luyện trước) |
| Giải toán (MATH) | 71.1% (0-shot CoT) | 60.1% (0-shot CoT) | 76.6% (0-shot CoT) | 67.7% (4-shot) | 57.8% (4-shot CoT) |
| Toán tiểu học (GSM8K) | 96.4% (0-shot CoT) | 95.0% (0-shot CoT) | — | 90.8% (11-shot) | 94.1% (8-shot CoT) |
* Claude 3.5 Sonnet đạt 67.2% trên GPQA 5-shot CoT với maj@32. ** Claude 3.5 Sonnet đạt 90.4% trên MMLU với lời nhắc 5-shot CoT.
Epoch AI model database (Claude 3.5 Sonnet); Epoch's confidence in the figures: Speculative. Blank tiles are not published.