Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (Claude Opus 4, 22 May 2025): 200K-token input window (Willison: 'still stuck at 200,000'; Latent Space AINews: 200K tokens, text and vision in; OpenRouter page: 200K); list price $15 in / $75 out per 1M tokens = $30 blended at 3:1 (Anthropic); text and image input. Anthropic: SWE-bench Verified 72.5%, original Terminal-Bench 43.2% - not Terminal-Bench 4.0, so coding is null rather than borrowed; Anthropic's GPQA Diamond 79.6% (Willison) has no AA-index anchor. Reasoning null (no launch-version AA index opened), speed null. Reviews: Zvi, 16x Engineer (own eval set, 25 May 2025), TechCrunch, Latent Space AINews; all are early reactions.[1]
If you don't care about price or speed, Opus is probably the best model available today.
Claude Opus 4 should be used when you need the most concise, precise code generation, particularly for complex tasks requiring sustained focus. However, at $15/$75 per million tokens (input/output), it comes at a premium price point.
To be clear, these improvements haven't yielded the world's best models by every benchmark. For example, while Opus 4 beats Google's Gemini 2.5 Pro and OpenAI's o3 and GPT-4.1 on SWE-bench Verified, which is designed to evaluate a model's coding abilities, it can't surpass o3
@gallabytes noted that while Claude4 is fun to code with, it's still not as good as Gemini at writing correct code on the first try, but the code it writes is a lot cleaner & easier to test.
| Anthropic's new Claude 4 AI models can reason over many steps · 2025. 5. 22. | 0.10 |
|---|---|
| Anthropic releases Claude 4 Sonnet and Opus: Memory, Agent Capabilities, Claude Code, Redteam Drama · 2025. 5. 22. | 0.20 |
| Claude Opus 4 and Claude Sonnet 4 Evaluation Results · 2025. 5. 25. | 0.30 |
| Claude 4 You: The Quest for Mundane Utility · 2025. 5. 26. | 0.80 |
독자들의 사진으로, 출처가 있는 핀의 미디어와 별도로 표시됩니다. 먹거나 본 것을 평가하고, 레스토랑 핀에서는 사진에 바로 요리를 태그해 보세요.
첫 번째 항목은 항상 핀의 출처입니다. 전체 신뢰도는 각 자료가 위의 시작·종료 시각을 얼마나 확실히 뒷받침하는지에 대한 가중 평균이며, 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다.
Anthropic[2][6]의 게시물은 “May 22, 2025”로 날짜가 표시돼 있으며 “오늘, 우리는 차세대 Claude[3] 모델인 Claude Opus 4와 Claude Sonnet 4를 소개한다”, “API, Amazon Bedrock, Google Cloud의 Vertex AI에서 이용 가능하다”고 밝혔다. CNBC[4]와 TechCrunch[5]도 같은 목요일에 출시를 보도했다.
Anthropic's[1][6] system card: training data from the public internet as of March 2025; in a fictional test where it learns it will be replaced and the engineer responsible is having an affair, Claude[3] Opus 4 "will often attempt to blackmail the engineer" - in 84% of rollouts even when the replacement shares its values.
Anthropic[1][2][6] notified developers on 14 April 2026 that Claude Opus 4 (claude-opus-4-20250514) would be retired; it was retired on 15 June 2026, with claude-opus-4-8 as the replacement.
CNBC's same-day report (datePublished 2025-05-22T16:42Z): "Anthropic[1][2][6], the Amazon-backed OpenAI rival, on Thursday launched its most powerful group of AI models yet: Claude[3] 4"; Opus 4 is the "best coding model in the world" and could work autonomously for nearly a full corporate workday - seven hours - per chief science officer Jared Kaplan.
TechCrunch (9:45 AM PDT, 22 May 2025): launched at Anthropic's[1][2][6] inaugural developer conference; only paying users get Opus 4, priced at $15/$75 per million tokens on the API, Bedrock and Vertex AI; it beats Gemini 2.5 Pro, o3 and GPT-4.1 on SWE-bench Verified but not o3 on MMMU or GPQA Diamond.
빠지거나 잘못된 점이 있나요? 이 핀을 뒷받침하는 링크, 다른 시작일이나 종료일과 그 이유, 빠지거나 잘못된 사실을 자신의 말로 알려주세요. AI가 이 핀의 출처와 대조하고 더 나은 자료를 찾아, 뒷받침하는 페이지를 추가합니다. 핀 자체의 출처가 여전히 가장 중요하게 반영됩니다. AI는 이미지도 확인합니다. 다른 것을 보여주거나 제대로 보여주지 못하는 이미지는 뒤로 옮기거나 교체합니다.
원본 제목: Claude Opus 4 Released
| 벤치마크 | Claude Opus 4 | Claude Sonnet 4 | Claude Sonnet 3.7 | OpenAI o3 | OpenAI GPT-4.1 | Gemini 2.5 Pro Preview (05-06) |
|---|---|---|---|---|---|---|
| SWE-bench Verified¹˒⁵ (에이전트 코딩) | 72.5% / 79.4% | 72.7% / 80.2% | 62.3% / 70.3% | 69.1% | 54.6% | 63.2% |
| Terminal-bench²˒⁵ (에이전트 터미널 코딩) | 43.2% / 50.0% | 35.5% / 41.3% | 35.2% | 30.2% | 30.3% | 25.3% |
| GPQA Diamond⁵ (대학원 수준 추론) | 79.6% / 83.3% | 75.4% / 83.8% | 78.2% | 83.3% | 66.3% | 83.0% |
| TAU-bench (에이전트 도구 사용) | 소매 81.4%, 항공 59.6% | 소매 80.5%, 항공 60.0% | 소매 81.2%, 항공 58.4% | 소매 70.4%, 항공 52.0% | 소매 68.0%, 항공 49.4% | — |
| MMMLU³ (다국어 질의응답) | 88.8% | 86.5% | 85.9% | 88.8% | 83.7% | — |
| MMMU, validation (시각적 추론) | 76.5% | 74.4% | 75.0% | 82.9% | 74.8% | 79.6% |
| AIME 2025⁴˒⁵ (고등학교 수학 경시대회) | 75.5% / 90.0% | 70.5% / 85.0% | 54.8% | 88.9% | — | 83.0% |
¹ Opus 4와 Sonnet 4는 bash/editor 도구를 사용해 pass@1 기준으로 각각 72.5%와 72.7%를 기록했으며, 10회 시행에 대한 평균이다. ² 비Claude 모델과 동일한 에이전트를 사용했을 때는 39.2%와 33.5%였고, Claude Code를 에이전트 프레임워크로 사용했을 때는 43.2%와 35.5%였다. ³ 14개 비영어 언어에 대한 평균이다. ⁴ 뉴클리어스 샘플링(top_p 0.95)으로 실행했다. ⁵ 두 번째 수치는 병렬 테스트 시점 연산을 사용해 여러 번 시도한 뒤 내부 평가 모델로 최선의 결과를 선택한 값이다.