Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (upgraded Claude 3.5 Sonnet, 22 Oct 2024): 200K-token context (OpenRouter model page, released 22 Oct 2024; the Anthropic post restates no window); price unchanged at $3 in / $15 out = $6 blended at 3:1 (Willison, Zvi); text and image input plus computer-use beta. Anthropic reports SWE-bench Verified 49.0% (33.4% before) and OSWorld 14.9% screenshot-only; neither maps to an anchor. Reasoning null (no launch-version AA index opened), coding null (no Terminal-Bench 4.0), speed null (no tokens/s published). Reviews: Willison (hands-on with the computer-use demo), Zvi, TechCrunch, The Decoder.[1]
It worked exactly as advertised.
We only have very early feedback so far, so it's hard to tell how much what I will be calling Claude 3.5.1 improves performance in practice over Claude 3.5. It does seem like it is a clear improvement.
But don't fire your secretary just yet. In an evaluation designed to test an AI agent's ability to help with airline booking tasks, like modifying a flight reservation, the new 3.5 Sonnet managed to complete less than half of the tasks successfully.
The new Claude 3.5 Sonnet model shows improved performance, especially in logical reasoning, mathematical problem-solving and programming tasks.
| Initial explorations of Anthropic's new Computer Use capability · 22 окт. 2024 г. | 0.60 |
|---|---|
| Anthropic's new AI model can control your PC · 22 окт. 2024 г. | -0.20 |
| Anthropic releases updated, smarter Claude Haiku 3.5 and Sonnet 3.5 model · 22 окт. 2024 г. | 0.70 |
| Claude Sonnet 3.5.1 and Haiku 3.5 · 24 окт. 2024 г. | 0.30 |
Фото читателей, отдельно от медиа пина с источниками. Оцените то, что вы ели или видели, а в пине ресторана отметьте блюда прямо на своём фото.
Первая запись — всегда источник пина. Общая достоверность — это взвешенное среднее того, насколько каждый источник подтверждает указанные выше время начала и окончания; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новым.
Публикация датирована «Oct 22, 2024» и сообщает: «Обновлённая Claude 3.5 Sonnet теперь доступна всем пользователям. Начиная с сегодняшнего дня, разработчики могут создавать продукты с бета-версией работы с компьютером»; TechCrunch[4] и CNBC[5] сообщили о выпуске «во вторник» того же дня.
Anthropic's[1][3] model card addendum: the upgraded 3.5 Sonnet sets new state-of-the-art results in agentic coding (SWE-bench Verified), agentic tasks (TAU-bench) and computer use from screenshots (OSWorld), with a 14.9% average OSWorld success rate from screenshots alone.
Anthropic's[1][2] research post on the skill: Claude looks at screenshots and "counts how many pixels vertically or horizontally it needs to move a cursor in order to click in the correct place", and was trained on simple software such as a calculator and a text editor without internet access.
TechCrunch, 2024-10-22: "Anthropic[1][2][3] on Tuesday released an upgraded version of its Claude 3.5 Sonnet model that can understand and interact with any desktop app" through a Computer Use API in open beta on the API, Bedrock and Vertex AI.
CNBC, 2024-10-22: chief science officer Jared Kaplan says it can do tasks with "tens or even hundreds of steps"; Amazon had early access and beta testers included Asana, Canva and Notion; released Tuesday in public beta for developers.
Чего-то не хватает или есть ошибка? Напишите своими словами: ссылку, подтверждающую этот пин, другую дату начала или окончания и почему, или факт, которого нет или который неверен. ИИ сверит это с источниками пина, поищет лучшие и добавит любую страницу, которая вас подтверждает. Собственные источники пина всё равно весят больше всего. Изображение, на котором показано что-то другое или показано плохо, тоже проверяется и опускается ниже или заменяется.
Оригинальное название: Claude 3.5 Sonnet Upgrade Released
| Бенчмарк | Claude 3.5 Sonnet (новая) | Claude 3.5 Haiku | Claude 3.5 Sonnet | GPT-4o* | GPT-4o mini* | Gemini 1.5 Pro | Gemini 1.5 Flash |
|---|---|---|---|---|---|---|---|
| Рассуждения уровня магистратуры (GPQA Diamond) | 65.0% (0-shot CoT) | 41.6% (0-shot CoT) | 59.4% (0-shot CoT) | 53.6% (0-shot CoT) | 40.2% (0-shot CoT) | 59.1% (0-shot CoT) | 51.0% (0-shot CoT) |
| Знания уровня бакалавриата (MMLU Pro) | 78.0% (0-shot CoT) | 65.0% (0-shot CoT) | 75.1% (0-shot CoT) | — | — | 75.8% (0-shot CoT) | 67.3% (0-shot CoT) |
| Код (HumanEval) | 93.7% (0-shot) | 88.1% (0-shot) | 92.0% (0-shot) | 90.2% (0-shot) | 87.2% (0-shot) | — | — |
| Решение математических задач (MATH) | 78.3% (0-shot CoT) | 69.2% (0-shot CoT) | 71.1% (0-shot CoT) | 76.6% (0-shot CoT) | 70.2% (0-shot CoT) | 86.5% (4-shot CoT) | 77.9% (4-shot CoT) |
| Олимпиада по математике для старшеклассников (AIME 2024) | 16.0% (0-shot CoT) | 5.3% (0-shot CoT) | 9.6% (0-shot CoT) | 9.3% (0-shot CoT) | — | — | — |
| Вопросы и ответы по изображениям (MMMU) | 70.4% (0-shot CoT) | — | 68.3% (0-shot CoT) | 69.1% (0-shot CoT) | 59.4% (0-shot CoT) | 65.9% (0-shot CoT) | 62.3% (0-shot CoT) |
| Агентное программирование (SWE-bench Verified) | 49.0% | 40.6% | 33.4% | — | — | — | — |
| Агентное использование инструментов (TAU-bench), розница | 69.2% | 51.0% | 62.6% | — | — | — | — |
| Агентное использование инструментов (TAU-bench), авиаперевозки | 46.0% | 22.8% | 36.0% | — | — | — | — |
* В таблицы оценок Anthropic не входит семейство моделей o1 от OpenAI, поскольку, в отличие от типичных моделей, они зависят от длительных вычислений до ответа.