첫 번째 항목은 항상 핀의 출처입니다. 전체 신뢰도는 각 자료가 위의 시작·종료 시각을 얼마나 확실히 뒷받침하는지에 대한 가중 평균이며, 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다.
게시물은 “Oct 22, 2024”로 날짜가 표시돼 있으며 “업그레이드된 Claude 3.5 Sonnet은 이제 모든 사용자에게 제공된다. 오늘부터 개발자는 컴퓨터 사용 베타로 빌드할 수 있다”고 밝혔다. TechCrunch[4]와 CNBC[5]도 같은 날 “화요일”에 출시됐다고 보도했다.
Anthropic's[1][3] model card addendum: the upgraded 3.5 Sonnet sets new state-of-the-art results in agentic coding (SWE-bench Verified), agentic tasks (TAU-bench) and computer use from screenshots (OSWorld), with a 14.9% average OSWorld success rate from screenshots alone.
Anthropic's[1][2] research post on the skill: Claude looks at screenshots and "counts how many pixels vertically or horizontally it needs to move a cursor in order to click in the correct place", and was trained on simple software such as a calculator and a text editor without internet access.
TechCrunch, 2024-10-22: "Anthropic[1][2][3] on Tuesday released an upgraded version of its Claude 3.5 Sonnet model that can understand and interact with any desktop app" through a Computer Use API in open beta on the API, Bedrock and Vertex AI.
CNBC, 2024-10-22: chief science officer Jared Kaplan says it can do tasks with "tens or even hundreds of steps"; Amazon had early access and beta testers included Asana, Canva and Notion; released Tuesday in public beta for developers.
빠지거나 잘못된 점이 있나요? 이 핀을 뒷받침하는 링크, 다른 시작일이나 종료일과 그 이유, 빠지거나 잘못된 사실을 자신의 말로 알려주세요. AI가 이 핀의 출처와 대조하고 더 나은 자료를 찾아, 뒷받침하는 페이지를 추가합니다. 핀 자체의 출처가 여전히 가장 중요하게 반영됩니다. AI는 이미지도 확인합니다. 다른 것을 보여주거나 제대로 보여주지 못하는 이미지는 뒤로 옮기거나 교체합니다.
Anthropic 출시 글 기준이며, 벤치마크 수치는 본문에 있고 컨텍스트 창, 최대 출력, 가격 수치는 나와 있지 않습니다. · 출처
It worked exactly as advertised.
We only have very early feedback so far, so it's hard to tell how much what I will be calling Claude 3.5.1 improves performance in practice over Claude 3.5. It does seem like it is a clear improvement.
But don't fire your secretary just yet. In an evaluation designed to test an AI agent's ability to help with airline booking tasks, like modifying a flight reservation, the new 3.5 Sonnet managed to complete less than half of the tasks successfully.
The new Claude 3.5 Sonnet model shows improved performance, especially in logical reasoning, mathematical problem-solving and programming tasks.
| Initial explorations of Anthropic's new Computer Use capability · 2024. 10. 22. | 0.60 |
|---|---|
| Anthropic's new AI model can control your PC · 2024. 10. 22. | -0.20 |
| Anthropic releases updated, smarter Claude Haiku 3.5 and Sonnet 3.5 model · 2024. 10. 22. | 0.70 |
| Claude Sonnet 3.5.1 and Haiku 3.5 · 2024. 10. 24. | 0.30 |
원본 제목: Claude 3.5 Sonnet Upgrade Released
| 벤치마크 | Claude 3.5 Sonnet (new) | Claude 3.5 Haiku | Claude 3.5 Sonnet | GPT-4o* | GPT-4o mini* | Gemini 1.5 Pro | Gemini 1.5 Flash |
|---|---|---|---|---|---|---|---|
| 대학원 수준 추론 (GPQA Diamond) | 65.0% (0-shot CoT) | 41.6% (0-shot CoT) | 59.4% (0-shot CoT) | 53.6% (0-shot CoT) | 40.2% (0-shot CoT) | 59.1% (0-shot CoT) | 51.0% (0-shot CoT) |
| 학부 수준 지식 (MMLU Pro) | 78.0% (0-shot CoT) | 65.0% (0-shot CoT) | 75.1% (0-shot CoT) | — | — | 75.8% (0-shot CoT) | 67.3% (0-shot CoT) |
| 코드 (HumanEval) | 93.7% (0-shot) | 88.1% (0-shot) | 92.0% (0-shot) | 90.2% (0-shot) | 87.2% (0-shot) | — | — |
| 수학 문제 해결 (MATH) | 78.3% (0-shot CoT) | 69.2% (0-shot CoT) | 71.1% (0-shot CoT) | 76.6% (0-shot CoT) | 70.2% (0-shot CoT) | 86.5% (4-shot CoT) | 77.9% (4-shot CoT) |
| 고등학교 수학 경시대회 (AIME 2024) | 16.0% (0-shot CoT) | 5.3% (0-shot CoT) | 9.6% (0-shot CoT) | 9.3% (0-shot CoT) | — | — | — |
| 시각 질의응답 (MMMU) | 70.4% (0-shot CoT) | — | 68.3% (0-shot CoT) | 69.1% (0-shot CoT) | 59.4% (0-shot CoT) | 65.9% (0-shot CoT) | 62.3% (0-shot CoT) |
| 에이전트 코딩 (SWE-bench Verified) | 49.0% | 40.6% | 33.4% | — | — | — | — |
| 에이전트 도구 사용 (TAU-bench), 소매 | 69.2% | 51.0% | 62.6% | — | — | — | — |
| 에이전트 도구 사용 (TAU-bench), 항공 | 46.0% | 22.8% | 36.0% | — | — | — | — |
* Anthropic의 평가표는 일반적인 모델과 달리 응답 전 계산에 상당한 시간이 걸리는 OpenAI의 o1 모델군을 제외한다.