Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (Claude 3 Haiku, 13 Mar 2024): 200K-token context; list price $0.25 in / $1.25 out per 1M tokens = $0.50 blended at 3:1; text and image input. Speed null: Anthropic published only input throughput (21K tokens, about 30 pages, per second for prompts under 32K), not output tokens/s. Reasoning null (no launch-version AA index; Anthropic's family charts have no anchor). Coding null. Reviews: Zvi, Willison (family pricing post, written before Haiku shipped), Keywords AI (vendor test of ~100 prompts vs GPT-4 Turbo, 25 Mar 2024), Vellum (vendor comparison vs GPT-3.5 Turbo / GPT-4o mini, 19 Jul 2024). The Keywords AI and Vellum pieces are vendor blogs but report genuine tests.[1]
Claude Haiku is cheap, but it is tiny, and releasing cheap tiny models below the capabilities curve is fine.
Haiku's average generation time is 78% faster than GPT-4-preview-0125 (2.283s vs 10.475s)
GPT-4o Mini performs worse than GPT-3.5 Turbo and Claude 3 Haiku, sometimes missing the mark entirely.
Sonnet is cheaper than all of the GPT-4 models (including GPT-4 Turbo), and Haiku (which has not yet been released to the Claude API) will be cheaper even than GPT-3.5 Turbo.
| The new Claude 3 model family from Anthropic · 2024/03/04 | 0.50 |
|---|---|
| On Claude 3.0 · 2024/03/06 | 0.20 |
| Test Results: Claude Haiku can substitute GPT-4 in 95% of AI tasks at 4% Cost · 2024/03/25 | 0.60 |
| GPT-4o Mini v/s Claude 3 Haiku v/s GPT-3.5 Turbo: A Comparison · 2024/07/19 | 0.00 |
読者の写真で、出典付きのピンのメディアとは別に表示されます。食べたものや見たものを評価でき、レストランのピンでは写真上に料理をタグ付けできます。
最初の項目は常にピンの出典です。全体の確度は、各資料が上記の開始・終了時刻をどれだけ強く裏付けているかの加重平均です。最新の資料より180日古くなるごとに、重みは半分になります。
Anthropic[5]の投稿には日付が「Mar 13, 2024」と記載され、「本日、Claude[2] 3 Haikuをリリースします……本モデルはClaude APIおよびclaude.ai(Claude Pro契約者向け)で、SonnetとOpusと並んで現在利用可能です」とある。AWSも同日、Amazon[4] Bedrockでの提供を発表している。
Anthropic[1][5] notified developers on 19 February 2026 that Claude Haiku 3 (claude-3-haiku-20240307) would be retired; it was retired on 20 April 2026, with claude-haiku-4-5-20251001 as the replacement.
SiliconANGLE's report: Haiku processes up to 21,000 tokens (about 30 pages) per second for prompts under 32,000 tokens, uses a 1:5 input-to-output pricing ratio, and joins Sonnet on Amazon[4] Bedrock, with Google Cloud Vertex AI coming soon.
AWS News Blog, published 2024-03-13T15:27-07:00: "Today, we are announcing the availability of Claude[2] 3 Haiku on Amazon Bedrock"; like Sonnet and Opus it has image-to-text vision, multilingual skills and a 200K context window.
The 4 March 2024 family launch, where Haiku was announced but not yet released ("Haiku will be available soon"): $0.25 per million input and $1.25 per million output tokens, a 200K context window, and it reads a ~10k-token arXiv paper with charts in under three seconds.[1]
足りない点や誤りがありますか? このピンを裏付けるリンク、別の開始日・終了日とその理由、欠けている情報や誤っている情報を、自由に書いてください。AIがこのピンの出典と照らし合わせ、より良い情報源を探し、裏付けとなるページがあれば参考資料として追加します。ピン自身の出典が引き続き最も重視されます。AIは画像も確認します。別のものが写っている画像や写りの悪い画像は、後ろに回すか差し替えます。
元のタイトル: Claude 3 Haiku Released
| ベンチマーク | Claude 3 Haiku | GPT-3.5 | Gemini 1.0 Pro |
|---|---|---|---|
| 価格(入力/出力) | $0.25 / $1.25 | $0.50 / $1.50 | $0.47 / $1.42 |
| MMLU (大学レベルの知識) | 75.2% 5ショット | 70.0% 5ショット | 71.8% 5ショット |
| GPQA, Diamond (大学院レベルの推論) | 33.3% 0ショットCoT | 28.1% 0ショットCoT | — |
| GSM8K (小学校レベルの数学) | 88.9% 0ショットCoT | 57.1% 5ショット | 86.5% Maj1@32 |
| MATH (数学の問題解決) | 40.9% 4ショット | 34.1% 4ショット | 32.6% 4ショット |
| MGSM (多言語の数学) | 76.5% 8ショット | — | 63.5% 8ショット |
| HumanEval (コード) | 75.9% 0ショット | 48.1% 0ショット | 67.7% 0ショット |
| DROP, F1 score (テキストに基づく推論) | 78.4 3ショット | 64.1 3ショット | 74.1 可変ショット数 |
| BIG-Bench-Hard (複合評価) | 73.7% 3ショットCoT | 66.6% 3ショットCoT | 75.0% 3ショットCoT |
| ARC-Challenge (知識問答) | 89.2% 25ショット | 85.2% 25ショット | — |
| HellaSwag (一般常識) | 85.9% 10ショット | 85.5% 10ショット | 84.7% 10ショット |
| ビジョン対応 | 対応 | 非対応 | 対応 |