Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (upgraded Claude 3.5 Sonnet, 22 Oct 2024): 200K-token context (OpenRouter model page, released 22 Oct 2024; the Anthropic post restates no window); price unchanged at $3 in / $15 out = $6 blended at 3:1 (Willison, Zvi); text and image input plus computer-use beta. Anthropic reports SWE-bench Verified 49.0% (33.4% before) and OSWorld 14.9% screenshot-only; neither maps to an anchor. Reasoning null (no launch-version AA index opened), coding null (no Terminal-Bench 4.0), speed null (no tokens/s published). Reviews: Willison (hands-on with the computer-use demo), Zvi, TechCrunch, The Decoder.[1]
It worked exactly as advertised.
We only have very early feedback so far, so it's hard to tell how much what I will be calling Claude 3.5.1 improves performance in practice over Claude 3.5. It does seem like it is a clear improvement.
But don't fire your secretary just yet. In an evaluation designed to test an AI agent's ability to help with airline booking tasks, like modifying a flight reservation, the new 3.5 Sonnet managed to complete less than half of the tasks successfully.
The new Claude 3.5 Sonnet model shows improved performance, especially in logical reasoning, mathematical problem-solving and programming tasks.
| Initial explorations of Anthropic's new Computer Use capability · 22 thg 10, 2024 | 0.60 |
|---|---|
| Anthropic's new AI model can control your PC · 22 thg 10, 2024 | -0.20 |
| Anthropic releases updated, smarter Claude Haiku 3.5 and Sonnet 3.5 model · 22 thg 10, 2024 | 0.70 |
| Claude Sonnet 3.5.1 and Haiku 3.5 · 24 thg 10, 2024 | 0.30 |
Ảnh của độc giả, tách biệt với phương tiện có nguồn của ghim. Hãy chấm điểm món bạn đã ăn hoặc thấy, và với ghim nhà hàng, gắn thẻ món ngay trên ảnh của bạn.
Mục đầu tiên luôn là nguồn của ghim. Độ tin cậy tổng thể là trung bình có trọng số về mức độ mỗi tài liệu ủng hộ thời điểm bắt đầu và kết thúc được dùng ở trên; một tài liệu được tính giảm một nửa cho mỗi 180 ngày cũ hơn tài liệu mới nhất.
Bài đăng đề ngày “Oct 22, 2024” và nói “Claude 3.5 Sonnet nâng cấp hiện đã có cho mọi người dùng. Bắt đầu từ hôm nay, nhà phát triển có thể xây dựng với bản beta sử dụng máy tính”; TechCrunch[4] và CNBC[5] đưa tin về bản phát hành “vào Thứ Ba” cùng ngày.
Anthropic's[1][3] model card addendum: the upgraded 3.5 Sonnet sets new state-of-the-art results in agentic coding (SWE-bench Verified), agentic tasks (TAU-bench) and computer use from screenshots (OSWorld), with a 14.9% average OSWorld success rate from screenshots alone.
Anthropic's[1][2] research post on the skill: Claude looks at screenshots and "counts how many pixels vertically or horizontally it needs to move a cursor in order to click in the correct place", and was trained on simple software such as a calculator and a text editor without internet access.
TechCrunch, 2024-10-22: "Anthropic[1][2][3] on Tuesday released an upgraded version of its Claude 3.5 Sonnet model that can understand and interact with any desktop app" through a Computer Use API in open beta on the API, Bedrock and Vertex AI.
CNBC, 2024-10-22: chief science officer Jared Kaplan says it can do tasks with "tens or even hundreds of steps"; Amazon had early access and beta testers included Asana, Canva and Notion; released Tuesday in public beta for developers.
Thiếu hay sai điều gì? Hãy nói bằng lời của bạn: một liên kết củng cố ghim này, một ngày bắt đầu hoặc kết thúc khác kèm lý do, hoặc một thông tin còn thiếu hay sai. AI đối chiếu với các nguồn của ghim này, tìm nguồn tốt hơn và thêm mọi trang ủng hộ bạn. Các nguồn của chính ghim vẫn được tính nhiều nhất. Hình ảnh thể hiện nội dung khác hoặc thể hiện kém cũng được xem xét, rồi bị hạ xuống hoặc thay thế.
Tiêu đề gốc: Claude 3.5 Sonnet Upgrade Released
| Chuẩn đánh giá | Claude 3.5 Sonnet (mới) | Claude 3.5 Haiku | Claude 3.5 Sonnet | GPT-4o* | GPT-4o mini* | Gemini 1.5 Pro | Gemini 1.5 Flash |
|---|---|---|---|---|---|---|---|
| Suy luận trình độ sau đại học (GPQA Diamond) | 65.0% (0-shot CoT) | 41.6% (0-shot CoT) | 59.4% (0-shot CoT) | 53.6% (0-shot CoT) | 40.2% (0-shot CoT) | 59.1% (0-shot CoT) | 51.0% (0-shot CoT) |
| Kiến thức trình độ đại học (MMLU Pro) | 78.0% (0-shot CoT) | 65.0% (0-shot CoT) | 75.1% (0-shot CoT) | — | — | 75.8% (0-shot CoT) | 67.3% (0-shot CoT) |
| Mã (HumanEval) | 93.7% (0-shot) | 88.1% (0-shot) | 92.0% (0-shot) | 90.2% (0-shot) | 87.2% (0-shot) | — | — |
| Giải toán (MATH) | 78.3% (0-shot CoT) | 69.2% (0-shot CoT) | 71.1% (0-shot CoT) | 76.6% (0-shot CoT) | 70.2% (0-shot CoT) | 86.5% (4-shot CoT) | 77.9% (4-shot CoT) |
| Thi toán trung học phổ thông (AIME 2024) | 16.0% (0-shot CoT) | 5.3% (0-shot CoT) | 9.6% (0-shot CoT) | 9.3% (0-shot CoT) | — | — | — |
| Hỏi đáp trực quan (MMMU) | 70.4% (0-shot CoT) | — | 68.3% (0-shot CoT) | 69.1% (0-shot CoT) | 59.4% (0-shot CoT) | 65.9% (0-shot CoT) | 62.3% (0-shot CoT) |
| Lập trình tác tử (SWE-bench Verified) | 49.0% | 40.6% | 33.4% | — | — | — | — |
| Dùng công cụ kiểu tác tử (TAU-bench), bán lẻ | 69.2% | 51.0% | 62.6% | — | — | — | — |
| Dùng công cụ kiểu tác tử (TAU-bench), hàng không | 46.0% | 22.8% | 36.0% | — | — | — | — |
* Các bảng đánh giá của Anthropic loại trừ họ mô hình o1 của OpenAI, vì chúng phụ thuộc vào thời gian tính toán trước khi phản hồi rất dài, không như các mô hình thông thường.