- Beginn
- 16. Sept. 202695 % SICHERHEITmlcommons.org
NVIDIA Vera Rubin NVL72 debütiert in MLPerf Inference v6.1
Automatisch aus dem Original übersetzt
Originaltitel: NVIDIA Vera Rubin NVL72 Debuts in MLPerf Inference v6.1
- MLCommons veröffentlichte die Ergebnisse von MLPerf Inference v6.1 am 16. September 2026 – die ersten begutachteten Werte für NVIDIAs Vera Rubin NVL72, das in der Preview-Kategorie antrat[3][4]
- Bei Qwen3-VL lieferte Vera Rubin NVL72 in den Szenarien Offline, Server und Interaktiv bis zum 3,7-fachen Durchsatz des GB300 NVL72 mit vLLM und NVIDIA Dynamo, bei DeepSeek-R1 mit TensorRT-LLM bis zum 2,5-fachen[1]
- Nebius, der einzige weitere Teilnehmer mit Vera Rubin, betrieb DeepSeek R1 auf 36 GPUs in neun Knoten und erreichte im Server-Szenario 16.427 Token/s pro GPU[6]
- Eine Einreichung mit 288 GPUs des GB300 NVL72 über vier Racks erreichte bei DeepSeek-R1 eine Skalierungseffizienz von 99 %, und Softwareverbesserungen steigerten den GB300 NVL72 bei Qwen3-VL gegenüber v6.0 um bis zum 1,6-fachen[1]
- Die Runde verzeichnete einen Rekord von 30 einreichenden Organisationen und ergänzte Tests für End-to-End-RAG und Edge Agentic Inference; das beste Server-Ergebnis pro Beschleuniger bei DeepSeek R1 lag beim 5,7-fachen des Vorjahreswerts[4]
- NVIDIAs Angabe eines 30-fachen Vorsprungs gegenüber GB300 NVL72 bei SemiAnalysis AgentX stammt aus Preview-Tests außerhalb von MLPerf und ist nicht von MLCommons verifiziert[1][3]
- Die Ergebnisse wurden um 11:00 Uhr EDT über die GlobeNewswire-Mitteilung von MLCommons veröffentlicht[5]
Wichtige Merkmale
- Ein Rack enthält 72 Rubin-GPUs und 36 Vera-CPUs, mit ConnectX-9 SuperNICs und BlueField-4 DPUs[2]
- 20,7 TB HBM4 mit 1.400 TB/s, 3.168 eigene Olympus-CPU-Kerne und bis zu 54 TB LPDDR5X pro Rack[2]
- NVLink und NVLink Switch der sechsten Generation, die laut NVIDIA 10-mal höhere Paketraten und 3-mal geringere Latenz als handelsübliches Ethernet bieten[1]
- NVFP4-Präzision sowie verbesserte Tensor Cores und Transformer Engine beschleunigen sowohl Prefill als auch Decode[1]
- NVIDIA beziffert die Kosten pro Million Token auf ein Zehntel derer des GB200 NVL72[2]