Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (Claude 3 Haiku, 13 Mar 2024): 200K-token context; list price $0.25 in / $1.25 out per 1M tokens = $0.50 blended at 3:1; text and image input. Speed null: Anthropic published only input throughput (21K tokens, about 30 pages, per second for prompts under 32K), not output tokens/s. Reasoning null (no launch-version AA index; Anthropic's family charts have no anchor). Coding null. Reviews: Zvi, Willison (family pricing post, written before Haiku shipped), Keywords AI (vendor test of ~100 prompts vs GPT-4 Turbo, 25 Mar 2024), Vellum (vendor comparison vs GPT-3.5 Turbo / GPT-4o mini, 19 Jul 2024). The Keywords AI and Vellum pieces are vendor blogs but report genuine tests.[1]
Claude Haiku is cheap, but it is tiny, and releasing cheap tiny models below the capabilities curve is fine.
Haiku's average generation time is 78% faster than GPT-4-preview-0125 (2.283s vs 10.475s)
GPT-4o Mini performs worse than GPT-3.5 Turbo and Claude 3 Haiku, sometimes missing the mark entirely.
Sonnet is cheaper than all of the GPT-4 models (including GPT-4 Turbo), and Haiku (which has not yet been released to the Claude API) will be cheaper even than GPT-3.5 Turbo.
| The new Claude 3 model family from Anthropic · 2024. 3. 4. | 0.50 |
|---|---|
| On Claude 3.0 · 2024. 3. 6. | 0.20 |
| Test Results: Claude Haiku can substitute GPT-4 in 95% of AI tasks at 4% Cost · 2024. 3. 25. | 0.60 |
| GPT-4o Mini v/s Claude 3 Haiku v/s GPT-3.5 Turbo: A Comparison · 2024. 7. 19. | 0.00 |
독자들의 사진으로, 출처가 있는 핀의 미디어와 별도로 표시됩니다. 먹거나 본 것을 평가하고, 레스토랑 핀에서는 사진에 바로 요리를 태그해 보세요.
첫 번째 항목은 항상 핀의 출처입니다. 전체 신뢰도는 각 자료가 위의 시작·종료 시각을 얼마나 확실히 뒷받침하는지에 대한 가중 평균이며, 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다.
Anthropic[5]의 게시물은 “Mar 13, 2024”로 날짜가 표시돼 있으며 “오늘 Claude[2] 3 Haiku를 출시한다... 이 모델은 이제 Claude API와 claude.ai에서 Sonnet, Opus와 함께 Claude Pro 구독자들에게 제공된다”고 밝혔다. AWS도 같은 날 Amazon[4] Bedrock에서의 제공을 발표했다.
Anthropic[1][5] notified developers on 19 February 2026 that Claude Haiku 3 (claude-3-haiku-20240307) would be retired; it was retired on 20 April 2026, with claude-haiku-4-5-20251001 as the replacement.
SiliconANGLE's report: Haiku processes up to 21,000 tokens (about 30 pages) per second for prompts under 32,000 tokens, uses a 1:5 input-to-output pricing ratio, and joins Sonnet on Amazon[4] Bedrock, with Google Cloud Vertex AI coming soon.
AWS News Blog, published 2024-03-13T15:27-07:00: "Today, we are announcing the availability of Claude[2] 3 Haiku on Amazon Bedrock"; like Sonnet and Opus it has image-to-text vision, multilingual skills and a 200K context window.
The 4 March 2024 family launch, where Haiku was announced but not yet released ("Haiku will be available soon"): $0.25 per million input and $1.25 per million output tokens, a 200K context window, and it reads a ~10k-token arXiv paper with charts in under three seconds.[1]
빠지거나 잘못된 점이 있나요? 이 핀을 뒷받침하는 링크, 다른 시작일이나 종료일과 그 이유, 빠지거나 잘못된 사실을 자신의 말로 알려주세요. AI가 이 핀의 출처와 대조하고 더 나은 자료를 찾아, 뒷받침하는 페이지를 추가합니다. 핀 자체의 출처가 여전히 가장 중요하게 반영됩니다. AI는 이미지도 확인합니다. 다른 것을 보여주거나 제대로 보여주지 못하는 이미지는 뒤로 옮기거나 교체합니다.
원본 제목: Claude 3 Haiku Released
| 벤치마크 | Claude 3 Haiku | GPT-3.5 | Gemini 1.0 Pro |
|---|---|---|---|
| 가격, 입력/출력 | $0.25 / $1.25 | $0.50 / $1.50 | $0.47 / $1.42 |
| MMLU (학부 수준 지식) | 75.2% 5-shot | 70.0% 5-shot | 71.8% 5-shot |
| GPQA, Diamond (대학원 수준 추론) | 33.3% 0-shot CoT | 28.1% 0-shot CoT | — |
| GSM8K (초등 수학) | 88.9% 0-shot CoT | 57.1% 5-shot | 86.5% Maj1@32 |
| MATH (수학 문제 해결) | 40.9% 4-shot | 34.1% 4-shot | 32.6% 4-shot |
| MGSM (다국어 수학) | 76.5% 8-shot | — | 63.5% 8-shot |
| HumanEval (코드) | 75.9% 0-shot | 48.1% 0-shot | 67.7% 0-shot |
| DROP, F1 score (텍스트 기반 추론) | 78.4 3-shot | 64.1 3-shot | 74.1 Variable shots |
| BIG-Bench-Hard (혼합 평가) | 73.7% 3-shot CoT | 66.6% 3-shot CoT | 75.0% 3-shot CoT |
| ARC-Challenge (지식 질의응답) | 89.2% 25-shot | 85.2% 25-shot | — |
| HellaSwag (상식) | 85.9% 10-shot | 85.5% 10-shot | 84.7% 10-shot |
| 비전 지원 여부 | 예 | 아니오 | 예 |