最初の項目は常にピンの出典です。全体の確度は、各資料が上記の開始・終了時刻をどれだけ強く裏付けているかの加重平均です。最新の資料より180日古くなるごとに、重みは半分になります。
この投稿には日付が「Oct 22, 2024」と記載され、「アップグレード版のClaude 3.5 Sonnetは現在、全ユーザーが利用可能です。本日より、開発者はコンピュータ操作のベータ版を使って開発できます」とある。TechCrunch[4]とCNBC[5]も同じ日、「火曜日に」このリリースを報じている。
Anthropic's[1][3] model card addendum: the upgraded 3.5 Sonnet sets new state-of-the-art results in agentic coding (SWE-bench Verified), agentic tasks (TAU-bench) and computer use from screenshots (OSWorld), with a 14.9% average OSWorld success rate from screenshots alone.
Anthropic's[1][2] research post on the skill: Claude looks at screenshots and "counts how many pixels vertically or horizontally it needs to move a cursor in order to click in the correct place", and was trained on simple software such as a calculator and a text editor without internet access.
TechCrunch, 2024-10-22: "Anthropic[1][2][3] on Tuesday released an upgraded version of its Claude 3.5 Sonnet model that can understand and interact with any desktop app" through a Computer Use API in open beta on the API, Bedrock and Vertex AI.
CNBC, 2024-10-22: chief science officer Jared Kaplan says it can do tasks with "tens or even hundreds of steps"; Amazon had early access and beta testers included Asana, Canva and Notion; released Tuesday in public beta for developers.
足りない点や誤りがありますか? このピンを裏付けるリンク、別の開始日・終了日とその理由、欠けている情報や誤っている情報を、自由に書いてください。AIがこのピンの出典と照らし合わせ、より良い情報源を探し、裏付けとなるページがあれば参考資料として追加します。ピン自身の出典が引き続き最も重視されます。AIは画像も確認します。別のものが写っている画像や写りの悪い画像は、後ろに回すか差し替えます。
Anthropicの発表記事より。ベンチマーク数値は本文にあり、コンテキストウィンドウ、最大出力、価格の数値は記載されていません。 · 出典
It worked exactly as advertised.
We only have very early feedback so far, so it's hard to tell how much what I will be calling Claude 3.5.1 improves performance in practice over Claude 3.5. It does seem like it is a clear improvement.
But don't fire your secretary just yet. In an evaluation designed to test an AI agent's ability to help with airline booking tasks, like modifying a flight reservation, the new 3.5 Sonnet managed to complete less than half of the tasks successfully.
The new Claude 3.5 Sonnet model shows improved performance, especially in logical reasoning, mathematical problem-solving and programming tasks.
| Initial explorations of Anthropic's new Computer Use capability · 2024/10/22 | 0.60 |
|---|---|
| Anthropic's new AI model can control your PC · 2024/10/22 | -0.20 |
| Anthropic releases updated, smarter Claude Haiku 3.5 and Sonnet 3.5 model · 2024/10/22 | 0.70 |
| Claude Sonnet 3.5.1 and Haiku 3.5 · 2024/10/24 | 0.30 |
元のタイトル: Claude 3.5 Sonnet Upgrade Released
| ベンチマーク | Claude 3.5 Sonnet (new) | Claude 3.5 Haiku | Claude 3.5 Sonnet | GPT-4o* | GPT-4o mini* | Gemini 1.5 Pro | Gemini 1.5 Flash |
|---|---|---|---|---|---|---|---|
| 大学院レベルの推論 (GPQA Diamond) | 65.0% (0ショットCoT) | 41.6% (0ショットCoT) | 59.4% (0ショットCoT) | 53.6% (0ショットCoT) | 40.2% (0ショットCoT) | 59.1% (0ショットCoT) | 51.0% (0ショットCoT) |
| 大学レベルの知識 (MMLU Pro) | 78.0% (0ショットCoT) | 65.0% (0ショットCoT) | 75.1% (0ショットCoT) | — | — | 75.8% (0ショットCoT) | 67.3% (0ショットCoT) |
| コード (HumanEval) | 93.7% (0ショット) | 88.1% (0ショット) | 92.0% (0ショット) | 90.2% (0ショット) | 87.2% (0ショット) | — | — |
| 数学の問題解決 (MATH) | 78.3% (0ショットCoT) | 69.2% (0ショットCoT) | 71.1% (0ショットCoT) | 76.6% (0ショットCoT) | 70.2% (0ショットCoT) | 86.5% (4ショットCoT) | 77.9% (4ショットCoT) |
| 高校数学コンテスト (AIME 2024) | 16.0% (0ショットCoT) | 5.3% (0ショットCoT) | 9.6% (0ショットCoT) | 9.3% (0ショットCoT) | — | — | — |
| 視覚的な質疑応答 (MMMU) | 70.4% (0ショットCoT) | — | 68.3% (0ショットCoT) | 69.1% (0ショットCoT) | 59.4% (0ショットCoT) | 65.9% (0ショットCoT) | 62.3% (0ショットCoT) |
| エージェント型コーディング (SWE-bench Verified) | 49.0% | 40.6% | 33.4% | — | — | — | — |
| エージェント型ツール利用 (TAU-bench)、小売 | 69.2% | 51.0% | 62.6% | — | — | — | — |
| エージェント型ツール利用 (TAU-bench)、航空 | 46.0% | 22.8% | 36.0% | — | — | — | — |
* Anthropicの評価表では、一般的なモデルとは異なり応答前に大量の計算時間を要するため、OpenAIのo1モデルファミリーは除外されている。