- 시작
- 2024년 6월 20일신뢰도 92%techcrunch.com 제공
Claude 3.5 Sonnet 출시
원문에서 자동 번역됨
원본 제목: Claude 3.5 Sonnet Released
- “오늘 우리는 Claude 3.5 Sonnet을 출시한다—다가올 Claude 3.5 모델 패밀리의 첫 출시작이다”라며, “중간 등급 모델인 Claude 3 Sonnet의 속도와 비용으로” Claude 3 Opus를 앞선다고 밝혔다.[1][4]
- Claude.ai와 Claude iOS 앱에서 무료로 제공되며, Pro와 Team 구독자에게는 더 높은 사용량 제한이 적용된다. 같은 날 Anthropic API, Amazon Bedrock, Google Cloud의 Vertex AI에서도 이용할 수 있다.[1][5]
- Artifacts와 함께 출시됐다. 이는 대화창 옆에 코드, 문서, 웹사이트 디자인이 표시되는 창으로, 사용자가 이를 실시간으로 보고 수정하고 발전시킬 수 있다.[1][3]
- ASL-2 등급을 유지했다. Anthropic는 배포 전 테스트를 위해 이를 영국 AI Safety Institute에 제공했고, 그 결과는 미국 AI Safety Institute와 공유됐다.[1]
- Anthropic는 2024년 하반기에 Claude 3.5 Haiku와 Claude 3.5 Opus로 이 패밀리를 완성할 것이라고 밝혔다.[1]
주요 특징
- 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러로 가격이 책정됐고 컨텍스트 윈도우는 20만 토큰이다. AWS는 Claude 3 Opus보다 80% 더 저렴하다고 설명한다.[1][5]
- Claude 3 Opus의 두 배 속도로 실행된다.[1][4]
- Anthropic의 모델 카드: GPQA Diamond 59.4%, MMLU 88.7%, HumanEval 92.0%, MATH 71.1%로, Claude 3 Opus의 50.4%, 86.8%, 84.9%, 60.1%와 비교된다.[2]
- 오픈소스 코드베이스의 버그 수정이나 기능 추가를 다루는 내부 에이전트 코딩 평가에서 문제의 64%를 해결했으며, 이는 Claude 3 Opus의 38%와 비교된다.[1][2]
- 지금까지 나온 Anthropic의 가장 강력한 비전 모델로, 차트와 그래프를 더 잘 읽어내고 불완전한 이미지에서도 텍스트를 더 잘 옮겨 적으며 MMMU에서 68.3%를 기록했다.[1][2]
벤치마크[1]
| 벤치마크 | Claude 3.5 Sonnet | Claude 3 Opus | GPT-4o | Gemini 1.5 Pro | Llama-400b (early snapshot) |
|---|---|---|---|---|---|
| 대학원 수준 추론 (GPQA, Diamond) | 59.4%* (0-shot CoT) | 50.4% (0-shot CoT) | 53.6% (0-shot CoT) | — | — |
| 학부 수준 지식 (MMLU), 5-shot | 88.7%** (5-shot) | 86.8% (5-shot) | — | 85.9% (5-shot) | 86.1% (5-shot) |
| 학부 수준 지식 (MMLU), 0-shot CoT | 88.3% (0-shot CoT) | 85.7% (0-shot CoT) | 88.7% (0-shot CoT) | — | — |
| 코드 (HumanEval) | 92.0% (0-shot) | 84.9% (0-shot) | 90.2% (0-shot) | 84.1% (0-shot) | 84.1% (0-shot) |
| 다국어 수학 (MGSM) | 91.6% (0-shot CoT) | 90.7% (0-shot CoT) | 90.5% (0-shot CoT) | 87.5% (8-shot) | — |
| 텍스트 기반 추론 (DROP, F1 score) | 87.1 (3-shot) | 83.1 (3-shot) | 83.4 (3-shot) | 74.9 (variable shots) | 83.5 (3-shot, pre-trained model) |
| 혼합 평가 (BIG-Bench-Hard) | 93.1% (3-shot CoT) | 86.8% (3-shot CoT) | — | 89.2% (3-shot CoT) | 85.3% (3-shot CoT, pre-trained model) |
| 수학 문제 해결 (MATH) | 71.1% (0-shot CoT) | 60.1% (0-shot CoT) | 76.6% (0-shot CoT) | 67.7% (4-shot) | 57.8% (4-shot CoT) |
| 초등 수학 (GSM8K) | 96.4% (0-shot CoT) | 95.0% (0-shot CoT) | — | 90.8% (11-shot) | 94.1% (8-shot CoT) |
* Claude 3.5 Sonnet은 maj@32를 사용한 5-shot CoT GPQA에서 67.2%를 기록한다. ** Claude 3.5 Sonnet은 5-shot CoT 프롬프팅을 사용한 MMLU에서 90.4%를 기록한다.
참고자료 5신뢰도 85%종합 신뢰도: 85%핀의 출처와 참고 자료가 날짜를 얼마나 뒷받침하는지.출처를 포함한 자료 5건이 핀의 시작·종료 시각을 얼마나 강하게 뒷받침하는지에 대한 가중 평균. 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다신뢰도 75% 이상 핀 모두 보기
첫 번째 항목은 항상 핀의 출처입니다. 전체 신뢰도는 각 자료가 위의 시작·종료 시각을 얼마나 확실히 뒷받침하는지에 대한 가중 평균이며, 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다.
- [1]90%anthropic.com/news/claude-3-5-sonnetanthropic.com· 게시 2026년 9월 28일· 시작 2024년 6월 20일· 점수의 32%
Anthropic[2]: “오늘 우리는 Claude 3.5 Sonnet을 출시한다”, “이제 Claude.ai에서 무료로 이용할 수 있다”. 페이지 상단에는 현재 Jun 21, 2024로 표시되어 있지만, TechCrunch[4]와 AWS는 모두 2024년 6월 20일에 이 출시를 보도했고 모델 ID도 claude-3-5-sonnet-20240620이다.
- [2]90%Claude 3.5 Sonnet Model Card Addendumwww-cdn.anthropic.com· 추가 2026년 9월 28일· 점수의 32%
Anthropic's[1] model card addendum: 59.4% on GPQA Diamond, 88.7% on MMLU (5-shot), 92.0% on HumanEval, 71.1% on MATH and 68.3% on MMMU, against Claude 3 Opus's 50.4%, 86.8%, 84.9%, 60.1% and 59.4%; 64% on the internal agentic coding evaluation against Opus's 38%.
- [3]75%Claude (AI) - Wikipediaen.wikipedia.org· 추가 2026년 9월 28일· 점수의 32%
"On June 20, 2024, Anthropic[1][2] released Claude 3.5 Sonnet, which, according to the company's own benchmarks, performed better than the larger Claude 3 Opus", alongside Artifacts, which previews code, SVG graphics or websites in a separate window.
- [4]92%Anthropic claims its latest model is best-in-classtechcrunch.com· 게재 2024년 6월 20일· 시작 2024년 6월 20일 ✓· 점수의 1%
TechCrunch, published 2024-06-20T14:00Z: Anthropic[1][2] "is releasing a powerful new generative AI model called Claude 3.5 Sonnet", about twice the speed of Claude 3 Opus, alongside Artifacts. It dates the launch 20 June, where Anthropic's own header now shows the 21 June UTC timestamp.
- [5]90%Anthropic's Claude 3.5 Sonnet model now available in Amazon Bedrock: Even more intelligence than Claude 3 Opus at one-fifth the costaws.amazon.com· 게재 2024년 6월 20일· 시작 2024년 6월 20일· 점수의 1%
AWS News Blog, 20 JUN 2024: "Today, Anthropic[1][2] introduced Claude 3.5 Sonnet ... now available in Amazon Bedrock"; 80 percent cheaper than Opus and about 10 percent better than Claude 3 Opus on most vision benchmarks.
수정 제안
빠지거나 잘못된 점이 있나요? 이 핀을 뒷받침하는 링크, 다른 시작일이나 종료일과 그 이유, 빠지거나 잘못된 사실을 자신의 말로 알려주세요. AI가 이 핀의 출처와 대조하고 더 나은 자료를 찾아, 뒷받침하는 페이지를 추가합니다. 핀 자체의 출처가 여전히 가장 중요하게 반영됩니다. AI는 이미지도 확인합니다. 다른 것을 보여주거나 제대로 보여주지 못하는 이미지는 뒤로 옮기거나 교체합니다.
