Llama 3.2 1B, 3B, 11B und 90B veröffentlicht

• Meta hat Llama 3.2 am 25. September 2024 auf der Connect vorgestellt: 'kleine und mittelgroße Vision-LLMs (11B und 90B)' sowie 'leichtgewichtige reine Textmodelle (1B und 3B)', die auf Smartphones und Edge-Geräten laufen, jeweils als vortrainierte und instruktionsoptimierte Variante^[1][4]
• Es war die erste Llama-Familie mit Bildverarbeitung und erschien knapp über zwei Monate nach Llama 3.1; Zuckerberg nannte es 'unser erstes multimodales Open-Source-Modell' und Open Source 'das Linux der KI', und VentureBeat vermerkte, Meta zufolge sei die Llama-Nutzung seit 3.1 um das 10x gewachsen^[1][5]
• Meta behauptet, die Vision-Modelle seien bei Bilderkennung und visuellem Verständnis mit Claude 3 Haiku und GPT-4o-mini konkurrenzfähig, das 3B schlage Gemma 2 2.6B und Phi 3.5-mini bei Befolgen von Anweisungen, Zusammenfassen, Umschreiben von Prompts und Werkzeugnutzung, und das 1B sei mit Gemma konkurrenzfähig; die Aussagen stützen sich auf mehr als 150 Benchmark-Datensätze, die Meta selbst ausgeführt hat^[1][5]
• Die kleinen Modelle entstanden durch Pruning und Destillation: Laut Modellkarte dienten Logits von Llama 3.1 8B und 70B als Ziele auf Token-Ebene beim Vortraining mit bis zu 9T Tokens, und Wissensdestillation stellte die Qualität nach dem Pruning wieder her; danach folgten Runden aus SFT, Rejection Sampling und DPO^[2]
• Die 11B- und 90B-Modelle sind Llama-3.1-Textmodelle plus ein separat trainierter Cross-Attention-Vision-Adapter, trainiert mit 6 Milliarden Bild-Text-Paaren, und ersetzen 3.1 bei Text direkt; Bild plus Text wird nur auf Englisch unterstützt^[3][4]
• Europa war der Haken: Meta hielt die Modelle 11B und 90B aus der EU heraus und machte ein 'unvorhersehbares' regulatorisches Umfeld dafür verantwortlich, was dort auch einige Bildfunktionen von Meta AI deaktivierte, während die Modelle 1B und 3B in Europa starteten^[4]
• Die offene Lizenzierung wurde unter der Llama 3.2 Community License fortgesetzt; Plattformen mit mehr als 700 Millionen monatlichen Nutzern benötigen eine Sonderlizenz von Meta^[2][4]

Wichtige Funktionen

• Alle vier Größen verarbeiten einen Kontext von 128K Tokens (die quantisierten kleinen Modelle 8K), etwa 100,000 Wörter auf einmal^[1][2][4]
• Mehr als 25 Partner starteten am ersten Tag, darunter AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud und Snowflake, auf Geräteseite Arm, MediaTek und Qualcomm^[1]
• Zeitgleich erschienen Llama-Stack-Distributionen für Einzelknoten-, On-Premises-, Cloud- und On-Device-Einsatz (PyTorch ExecuTorch auf dem Gerät, Ollama für einen einzelnen Knoten)^[1]
• Schutzmechanismen: Llama Guard 3 11B Vision für Text- und Bildeingaben sowie Llama Guard 3 1B, per Pruning und Quantisierung von 2,858 MB auf 438 MB verkleinert^[1]
• Es folgten quantisierte 1B- und 3B-Varianten (SpinQuant und QLoRA) mit 8K Kontext, und die Textmodellkarte wurde am 24. Oktober 2024 aktualisiert^[2]
• OpenRouter führt das 1B mit $0.027 pro Million Eingabe-Tokens und $0.201 pro Million Ausgabe-Tokens und das 3B mit $0.05 und $0.33^[6]

Metas Benchmarks für instruktionsoptimierte Modelle^[2][3]