Llama 3.2 1B, 3B, 11B e 90B rilasciati

• Meta ha rilasciato Llama 3.2 il 25 settembre 2024 a Connect: 'LLM di visione di piccole e medie dimensioni (11B e 90B)' e 'modelli leggeri solo testo (1B e 3B)' che stanno su telefoni e dispositivi edge, ciascuno in versione preaddestrata e ottimizzata per le istruzioni^[1][4]
• È stata la prima famiglia Llama con visione, arrivata poco più di due mesi dopo Llama 3.1; Zuckerberg l'ha definita 'il nostro primo modello multimodale open source' e l'open source 'il Linux dell'IA', e VentureBeat ha notato che Meta ha detto che l'uso di Llama era cresciuto di 10x dalla 3.1^[1][5]
• Meta sostiene che i modelli di visione siano competitivi con Claude 3 Haiku e GPT-4o-mini nel riconoscimento di immagini e nella comprensione visiva, che il 3B batta Gemma 2 2.6B e Phi 3.5-mini nel seguire istruzioni, riassumere, riscrivere prompt e usare strumenti, e che l'1B sia competitivo con Gemma; le affermazioni si basano su oltre 150 dataset di benchmark eseguiti da Meta stessa^[1][5]
• I modelli piccoli sono stati realizzati con potatura e distillazione: la scheda spiega che i logit di Llama 3.1 8B e 70B sono stati usati come obiettivi a livello di token nel preaddestramento su fino a 9T token e che la distillazione della conoscenza ha recuperato la qualità dopo la potatura, poi cicli di SFT, campionamento per rifiuto e DPO li hanno rifiniti^[2]
• Gli 11B e 90B sono modelli di testo Llama 3.1 più un adattatore di visione a cross-attention addestrato separatamente su 6 miliardi di coppie immagine-testo, e sostituiscono direttamente la 3.1 sul testo; immagine più testo è supportato solo in inglese^[3][4]
• L'Europa è stata il problema: Meta ha tenuto gli 11B e 90B fuori dall'UE, incolpando un contesto normativo 'imprevedibile', cosa che ha disattivato anche alcune funzioni di immagine di Meta AI lì, mentre gli 1B e 3B sono stati lanciati in Europa^[4]
• La licenza aperta è proseguita con la Llama 3.2 Community License, e le piattaforme con oltre 700 milioni di utenti mensili devono ottenere una licenza speciale da Meta^[2][4]

Funzionalità principali

• Tutte e quattro le dimensioni accettano un contesto di 128K token (8K per i piccoli modelli quantizzati), circa 100,000 parole alla volta^[1][2][4]
• Oltre 25 partner sono partiti dal primo giorno, tra cui AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud e Snowflake, con Arm, MediaTek e Qualcomm sui dispositivi^[1]
• Insieme sono state rilasciate le distribuzioni Llama Stack per uso su singolo nodo, on-premise, cloud e on-device (PyTorch ExecuTorch su dispositivo, Ollama per singolo nodo)^[1]
• Salvaguardie: Llama Guard 3 11B Vision per input di testo e immagini, e Llama Guard 3 1B, potato e quantizzato da 2,858 MB a 438 MB^[1]
• Sono seguite varianti quantizzate da 1B e 3B (SpinQuant e QLoRA), con contesto di 8K, e la scheda del testo è stata aggiornata il 24 ottobre 2024^[2]
• OpenRouter elenca l'1B a $0.027 per milione di token in ingresso e $0.201 per milione di token in uscita, e il 3B a $0.05 e $0.33^[6]

Benchmark di Meta per i modelli ottimizzati per le istruzioni^[2][3]