Автоматический перевод оригинала
Оригинальное название: Claude 3.7 Sonnet Released
Anthropic выпускает Claude 3.7 Sonnet — первую гибридную модель рассуждения, которая отвечает мгновенно или думает шаг за шагом столько, сколько позволит пользователь, и запускает рядом с ней терминального агента Claude Code.
- Anthropic назвала Claude 3.7 Sonnet «нашей самой интеллектуальной моделью на сегодняшний день и первой гибридной моделью рассуждения на рынке»: одна модель, дающая почти мгновенные ответы или «расширенное пошаговое мышление, видимое пользователю»[1][4]
- Она стала доступна на каждом тарифе Claude — Free, Pro, Team и Enterprise — а также на Claude Developer Platform, в Amazon Bedrock и Vertex AI от Google Cloud; расширенное мышление доступно на всех платформах, кроме бесплатного уровня[1][4]
- Вместе с ней запустили Claude Code — первый агентный инструмент Anthropic для программирования — в виде ограниченного исследовательского предварительного просмотра, работающего из терминала, а интеграция с GitHub появилась на всех тарифах Claude[1]
- Она на 45% сокращает ненужные отказы по сравнению с предшественницей и была выпущена по стандарту ASL-2[1][2]
- Версия перепрыгнула с 3.5 на 3.7, а в феврале 2025 г. Claude 3.7 Sonnet начала играть в Pokémon Red в прямом эфире на Twitch[3][4]
Примечательные особенности
- 3 доллара за миллион входных токенов и 15 долларов за миллион выходных токенов в обоих режимах, включая токены мышления[1][4]
- Пользователи API задают бюджет мышления любого размера вплоть до лимита вывода в 128 тыс. токенов, меняя скорость и стоимость на качество[1]
- Графики Anthropic показывают 62.3% в SWE-bench Verified (70.3% с собственной обвязкой) против 49.0% у обновлённой 3.5 Sonnet и 81.2% (розница) и 58.4% (авиаперевозки) в TAU-bench[1]
- Anthropic говорит, что оптимизировала модель меньше для олимпиад по математике и программированию и больше для реальных бизнес-задач[1]
- В стандартном режиме это обновлённая Claude 3.5 Sonnet; в режиме расширенного мышления она размышляет перед ответом, что помогает в математике, физике, следовании инструкциям и программировании[1]
Бенчмарки[1]
| Бенчмарк | Claude 3.7 Sonnet (расширенное мышление, 64K) | Claude 3.7 Sonnet (без расширенного мышления) | Claude 3.5 Sonnet (новая) | OpenAI o1¹ | OpenAI o3-mini¹ (high) | DeepSeek R1 (расширенное мышление, 32K) | Grok 3 Beta (расширенное мышление) |
|---|
| Рассуждения уровня магистратуры (GPQA Diamond)³ | 78.2% / 84.8% | 68.0% | 65.0% | 75.7% / 78.0% | 79.7% | 71.5% | 80.2% / 84.6% |
|---|
| Агентное программирование (SWE-bench Verified)² | — | 62.3% / 70.3% | 49.0% | 48.9% | 49.3% | 49.2% | — |
|---|
| Агентное использование инструментов (TAU-bench), розница | — | 81.2% | 71.5% | 73.5% | — | — | — |
|---|
| Агентное использование инструментов (TAU-bench), авиаперевозки | — | 58.4% | 48.8% | 54.2% | — | — | — |
|---|
| Многоязычные вопросы и ответы (MMMLU) | 86.1% | 83.2% | 82.1% | 87.7% | 79.5% | — | — |
|---|
| Визуальные рассуждения (MMMU, валидация) | 75% | 71.8% | 70.4% | 78.2% | — | — | 76.0% / 78.0% |
|---|
| Следование инструкциям (IFEval) | 93.2% | 90.8% | 90.2% | — | — | 83.3% | — |
|---|
| Решение математических задач (MATH 500) | 96.2% | 82.2% | 78.0% | 96.4% | 97.9% | 97.3% | — |
|---|
| Олимпиада по математике для старшеклассников (AIME 2024)³ | 61.3% / 80.0% | 23.3% | 16.0% | 79.2% / 83.3% | 87.3% | 79.8% | 83.9% / 93.3% |
|---|
Pass@1 в среднем по нескольким испытаниям (до 16 для AIME и SWE-bench Verified); второе значение получено с параллельными вычислениями на этапе тестирования. ¹ Результаты o1 в TAU-bench были опубликованы OpenAI и позже удалены; результаты TAU-bench могут быть несопоставимы. ² 62.3% — это pass@1 на 500 задачах с инструментами bash/editor плюс «инструментом мышления»; 70.3% получено с внутренней оценкой и собственной обвязкой на сокращённом подмножестве; DeepSeek R1 использует фреймворк Agentless. ³ Высокие результаты Claude 3.7 Sonnet в GPQA и AIME 2024 получены с внутренней оценкой и параллельными вычислениями на этапе тестирования; у o1 и Grok 3 используется голосование большинством по 64 выборкам.
