Dal post di lancio di Anthropic, che fornisce le cifre dei benchmark nel testo e non indica finestra di contesto, output massimo né cifre di prezzo. · fonte
Estimate from the version's published specs, benchmarks and reviews, 0-5; scores are only comparable within one criteria year. Scored as launched (upgraded Claude 3.5 Sonnet, 22 Oct 2024): 200K-token context (OpenRouter model page, released 22 Oct 2024; the Anthropic post restates no window); price unchanged at $3 in / $15 out = $6 blended at 3:1 (Willison, Zvi); text and image input plus computer-use beta. Anthropic reports SWE-bench Verified 49.0% (33.4% before) and OSWorld 14.9% screenshot-only; neither maps to an anchor. Reasoning null (no launch-version AA index opened), coding null (no Terminal-Bench 4.0), speed null (no tokens/s published). Reviews: Willison (hands-on with the computer-use demo), Zvi, TechCrunch, The Decoder.[1]
It worked exactly as advertised.
We only have very early feedback so far, so it's hard to tell how much what I will be calling Claude 3.5.1 improves performance in practice over Claude 3.5. It does seem like it is a clear improvement.
But don't fire your secretary just yet. In an evaluation designed to test an AI agent's ability to help with airline booking tasks, like modifying a flight reservation, the new 3.5 Sonnet managed to complete less than half of the tasks successfully.
The new Claude 3.5 Sonnet model shows improved performance, especially in logical reasoning, mathematical problem-solving and programming tasks.
| Initial explorations of Anthropic's new Computer Use capability · 22 ott 2024 | 0.60 |
|---|---|
| Anthropic's new AI model can control your PC · 22 ott 2024 | -0.20 |
| Anthropic releases updated, smarter Claude Haiku 3.5 and Sonnet 3.5 model · 22 ott 2024 | 0.70 |
| Claude Sonnet 3.5.1 and Haiku 3.5 · 24 ott 2024 | 0.30 |
Foto dei lettori, separate dai media con fonti del pin. Valuta ciò che hai mangiato o visto e, su un pin di ristorante, tagga i piatti direttamente sulla tua foto.
La prima voce è sempre la fonte del pin. L’affidabilità complessiva è una media ponderata di quanto ogni fonte conferma gli orari di inizio e fine indicati sopra; una fonte conta la metà per ogni 180 giorni in più rispetto alla più recente.
Il post è datato «22 ott. 2024» e dice «Il Claude 3.5 Sonnet aggiornato è ora disponibile per tutti gli utenti. Da oggi, gli sviluppatori possono creare con la beta dell'uso del computer»; TechCrunch[4] e CNBC[5] riportano il rilascio «martedì» lo stesso giorno.
Anthropic's[1][3] model card addendum: the upgraded 3.5 Sonnet sets new state-of-the-art results in agentic coding (SWE-bench Verified), agentic tasks (TAU-bench) and computer use from screenshots (OSWorld), with a 14.9% average OSWorld success rate from screenshots alone.
Anthropic's[1][2] research post on the skill: Claude looks at screenshots and "counts how many pixels vertically or horizontally it needs to move a cursor in order to click in the correct place", and was trained on simple software such as a calculator and a text editor without internet access.
TechCrunch, 2024-10-22: "Anthropic[1][2][3] on Tuesday released an upgraded version of its Claude 3.5 Sonnet model that can understand and interact with any desktop app" through a Computer Use API in open beta on the API, Bedrock and Vertex AI.
CNBC, 2024-10-22: chief science officer Jared Kaplan says it can do tasks with "tens or even hundreds of steps"; Amazon had early access and beta testers included Asana, Canva and Notion; released Tuesday in public beta for developers.
Manca qualcosa o c’è un errore? Dillo con parole tue: un link che conferma questo pin, una data di inizio o fine diversa e perché, o un fatto che manca o è sbagliato. L’IA lo confronta con le fonti del pin, ne cerca di migliori e aggiunge qualsiasi pagina ti dia ragione. Le fonti del pin contano comunque di più. Anche un’immagine che mostra altro, o lo mostra male, viene esaminata e spostata in basso o sostituita.
Titolo originale: Claude 3.5 Sonnet Upgrade Released
| Benchmark | Claude 3.5 Sonnet (nuovo) | Claude 3.5 Haiku | Claude 3.5 Sonnet | GPT-4o* | GPT-4o mini* | Gemini 1.5 Pro | Gemini 1.5 Flash |
|---|---|---|---|---|---|---|---|
| Ragionamento di livello post-laurea (GPQA Diamond) | 65.0% (0-shot CoT) | 41.6% (0-shot CoT) | 59.4% (0-shot CoT) | 53.6% (0-shot CoT) | 40.2% (0-shot CoT) | 59.1% (0-shot CoT) | 51.0% (0-shot CoT) |
| Conoscenze di livello universitario (MMLU Pro) | 78.0% (0-shot CoT) | 65.0% (0-shot CoT) | 75.1% (0-shot CoT) | — | — | 75.8% (0-shot CoT) | 67.3% (0-shot CoT) |
| Codice (HumanEval) | 93.7% (0-shot) | 88.1% (0-shot) | 92.0% (0-shot) | 90.2% (0-shot) | 87.2% (0-shot) | — | — |
| Risoluzione di problemi matematici (MATH) | 78.3% (0-shot CoT) | 69.2% (0-shot CoT) | 71.1% (0-shot CoT) | 76.6% (0-shot CoT) | 70.2% (0-shot CoT) | 86.5% (4-shot CoT) | 77.9% (4-shot CoT) |
| Competizione di matematica delle superiori (AIME 2024) | 16.0% (0-shot CoT) | 5.3% (0-shot CoT) | 9.6% (0-shot CoT) | 9.3% (0-shot CoT) | — | — | — |
| Domande e risposte visive (MMMU) | 70.4% (0-shot CoT) | — | 68.3% (0-shot CoT) | 69.1% (0-shot CoT) | 59.4% (0-shot CoT) | 65.9% (0-shot CoT) | 62.3% (0-shot CoT) |
| Programmazione con agenti (SWE-bench Verified) | 49.0% | 40.6% | 33.4% | — | — | — | — |
| Uso di strumenti con agenti (TAU-bench), retail | 69.2% | 51.0% | 62.6% | — | — | — | — |
| Uso di strumenti con agenti (TAU-bench), compagnie aeree | 46.0% | 22.8% | 36.0% | — | — | — | — |
* Le tabelle di valutazione di Anthropic escludono la famiglia di modelli o1 di OpenAI, perché dipendono da un lungo tempo di calcolo prima della risposta, a differenza dei modelli tipici.