BESTÄTIGTTerminsicherheit: BESTÄTIGTAls fest angegebenWie fest die Quelle den Termin formuliert: bestätigt, geplant, geschätzt, verschoben oder unbestätigt.Alle Pins mit BESTÄTIGT anzeigen90 % SICHERHEITGesamtvertrauen: 90%Wie gut die Quelle und die Belege des Pins seine Termine stützen.Gewichteter Durchschnitt, wie fest 5 Belege einschließlich der Quelle die Start- und Endzeiten des Pins stützen; ein Beleg zählt für je 180 Tage, die er älter ist als der neueste, nur halb so vielAlle Pins mit mindestens 75 % Sicherheit anzeigen
Der Beitrag ist auf „Oct 22, 2024“ datiert und sagt, „Das aktualisierte Claude 3.5 Sonnet ist jetzt für alle Nutzer verfügbar. Ab heute können Entwickler mit der Computer-Use-Beta entwickeln“; TechCrunch[4] und CNBC[5] berichten von der Veröffentlichung „am Dienstag“ desselben Tages.- Beginn
- 22. Okt. 202490 % SICHERHEITQuelle
Upgrade für Claude 3.5 Sonnet veröffentlicht
Automatisch aus dem Original übersetzt
Originaltitel: Claude 3.5 Sonnet Upgrade Released
Anthropic veröffentlicht ein aktualisiertes Claude 3.5 Sonnet, das SWE-bench Verified von 33,4 % auf 49,0 % anhebt und als erstes Frontier-Modell Computer Use in öffentlicher Beta anbietet, bei dem es wie ein Mensch den Cursor bewegt und tippt.
- Anthropic kündigte „ein aktualisiertes Claude 3.5 Sonnet“ an mit „durchgängigen Verbesserungen gegenüber seinem Vorgänger, mit besonders deutlichen Fortschritten bei der Programmierung“, ab diesem Tag für alle Nutzer verfügbar, sowie das neue Claude 3.5 Haiku für später im Monat[1]
- Computer Use erschien in öffentlicher Beta: Claude betrachtet den Bildschirm, bewegt einen Cursor, klickt Schaltflächen an und tippt, und Anthropic nennt 3.5 Sonnet „das erste Frontier-KI-Modell, das Computer Use in öffentlicher Beta anbietet“ – „noch experimentell, zeitweise umständlich und fehleranfällig“[1][4]
- Um den Cursor zu steuern, zählt Claude bei jedem Screenshot die Pixel, die es bewegen muss; Anthropic trainierte die Fähigkeit an einfacher Software wie einem Taschenrechner und einem Texteditor[3]
- Entwickler konnten es noch am selben Tag auf der Anthropic API, Amazon Bedrock und Google Clouds Vertex AI nutzen; Asana, Canva, Cognition, DoorDash, Replit und The Browser Company waren frühe Nutzer, und Amazon hatte frühen Zugriff[1][5]
- Die AI Safety Institutes der USA und Großbritanniens testeten es gemeinsam vor der Veröffentlichung; Anthropic beließ es bei ASL-2 und fügte Klassifikatoren hinzu, die Computer Use erkennen und ob dabei Schaden entsteht[1]
Bemerkenswerte Merkmale
- Gleicher Preis und gleiche Geschwindigkeit wie das 3.5 Sonnet vom Juni[1]
- SWE-bench Verified steigt von 33,4 % auf 49,0 %, über jedem öffentlich verfügbaren Modell einschließlich OpenAIs o1-preview[1]
- Die agentische Tool-Nutzung bei TAU-bench steigt im Einzelhandel von 62,6 % auf 69,2 % und im Bereich Fluggesellschaft von 36,0 % auf 46,0 %[1]
- Bei OSWorld erzielte es allein anhand von Screenshots 14,9 % gegenüber 7,8 % beim nächstbesten System, und 22,0 %, wenn mehr Schritte erlaubt waren[1][2]
- Scrollen, Ziehen und Zoomen fielen ihm noch schwer, und Anthropic empfahl, mit risikoarmen Aufgaben zu beginnen[1]
Benchmarks[1]
| Benchmark | Claude 3.5 Sonnet (neu) | Claude 3.5 Haiku | Claude 3.5 Sonnet | GPT-4o* | GPT-4o mini* | Gemini 1.5 Pro | Gemini 1.5 Flash |
|---|---|---|---|---|---|---|---|
| Schlussfolgern auf Graduiertenniveau (GPQA Diamond) | 65,0 % (0-shot CoT) | 41,6 % (0-shot CoT) | 59,4 % (0-shot CoT) | 53,6 % (0-shot CoT) | 40,2 % (0-shot CoT) | 59,1 % (0-shot CoT) | 51,0 % (0-shot CoT) |
| Wissen auf Bachelor-Niveau (MMLU Pro) | 78,0 % (0-shot CoT) | 65,0 % (0-shot CoT) | 75,1 % (0-shot CoT) | — | — | 75,8 % (0-shot CoT) | 67,3 % (0-shot CoT) |
| Code (HumanEval) | 93,7 % (0-shot) | 88,1 % (0-shot) | 92,0 % (0-shot) | 90,2 % (0-shot) | 87,2 % (0-shot) | — | — |
| Mathematisches Problemlösen (MATH) | 78,3 % (0-shot CoT) | 69,2 % (0-shot CoT) | 71,1 % (0-shot CoT) | 76,6 % (0-shot CoT) | 70,2 % (0-shot CoT) | 86,5 % (4-shot CoT) | 77,9 % (4-shot CoT) |
| Mathematikwettbewerb auf Highschool-Niveau (AIME 2024) | 16,0 % (0-shot CoT) | 5,3 % (0-shot CoT) | 9,6 % (0-shot CoT) | 9,3 % (0-shot CoT) | — | — | — |
| Visuelle Fragen und Antworten (MMMU) | 70,4 % (0-shot CoT) | — | 68,3 % (0-shot CoT) | 69,1 % (0-shot CoT) | 59,4 % (0-shot CoT) | 65,9 % (0-shot CoT) | 62,3 % (0-shot CoT) |
| Agentische Programmierung (SWE-bench Verified) | 49,0 % | 40,6 % | 33,4 % | — | — | — | — |
| Agentische Tool-Nutzung (TAU-bench), Einzelhandel | 69,2 % | 51,0 % | 62,6 % | — | — | — | — |
| Agentische Tool-Nutzung (TAU-bench), Fluggesellschaft | 46,0 % | 22,8 % | 36,0 % | — | — | — | — |
* Anthropics Bewertungstabellen schließen OpenAIs o1-Modellfamilie aus, da diese im Gegensatz zu typischen Modellen von umfangreicher Rechenzeit vor der Antwort abhängt.
Kaufen beiClaude