CONFERMATOAffidabilità della data: CONFERMATOIndicato come definitivoQuanto la fonte è netta sulla data: confermata, programmata, stimata, rinviata o non verificata.Mostra tutti i pin CONFERMATOAFFIDABILITÀ 87%Affidabilità complessiva: 87%Quanto la fonte e le altre fonti del pin ne confermano le date.Media ponderata di quanto 6 fonti, compresa quella principale, confermano gli orari di inizio e fine del pin; una fonte conta la metà per ogni 180 giorni in più rispetto alla più recenteMostra tutti i pin con affidabilità pari o superiore al 75%
La scheda del modello di Meta riporta 'Model Release Date: 70B Instruct: December 6, 2024'; l'articolo di TechCrunch[5] è datato 6 dicembre 2024 e OpenRouter[6] elenca meta-llama/llama-3.3-70b-instruct come creato lo stesso giorno.- Inizio
- 6 dic 2024AFFIDABILITÀ 90%da la fonte
Rilasciato Llama 3.3 70B
Tradotto automaticamente dall’originale
Titolo originale: Llama 3.3 70B Released
Meta rilascia Llama 3.3 70B, un modello da 70B solo testo ottimizzato per le istruzioni che, secondo Meta, offre le prestazioni del Llama 3.1 da 405B a un costo inferiore, con una finestra di contesto di 128K e pesi aperti; il grafico di Meta lo prezza a $0.1 per milione di token in ingresso.
- Meta ha rilasciato Llama 3.3 70B il 6 dicembre 2024, circa quattro mesi e mezzo dopo Llama 3.1, un modello da 70B ottimizzato per le istruzioni, con testo in ingresso e in uscita, che secondo Meta 'offre le prestazioni del più grande modello Llama di Meta, Llama 3.1 405B, a un costo inferiore'; il VP dell'IA generativa Ahmad Al-Dahle ha detto che 'migliora le prestazioni di base a un costo significativamente inferiore'[1][5]
- È distribuito come un unico modello da 70B, preaddestrato su circa 15 trilioni di token da fonti pubbliche con data limite a dicembre 2023, e Meta lo ha affinato su dati di istruzioni pubblici più oltre 25M di esempi sintetici con SFT e RLHF; Meta indica 7.0M di ore GPU H100-80GB[1][4]
- Nella tabella di Meta per i modelli ottimizzati per le istruzioni, eguaglia Llama 3.1 70B su MMLU (CoT, 86.0) e lo supera su MMLU Pro (68.9 contro 66.4), IFEval (92.1 contro 87.5), HumanEval (88.4 contro 80.5), MATH (77.0 contro 68.0) e MGSM (91.1 contro 86.9); su IFEval, MATH e GPQA Diamond (50.5 contro 49.0) supera leggermente anche il 405B[1][4]
- Rispetto ai rivali chiusi nel grafico di Meta, supera GPT-4o su IFEval (92.1 contro 84.6), HumanEval (88.4 contro 86.0) e MATH (77.0 contro 76.9) ma resta indietro su MMLU Pro (68.9 contro 73.8), e Claude 3.5 Sonnet e Gemini 1.5 Pro restano avanti su diverse righe di programmazione e matematica[2][3]
- La riga dei costi dello stesso grafico è l'argomento di vendita: $0.1 per milione di token in ingresso e $0.4 per milione di token in uscita, il prezzo più basso tra i fornitori, contro $2.5 e $10 per GPT-4o, $3 e $15 per Claude 3.5 Sonnet, $0.80 e $3.20 per Amazon Nova Pro e $1.0 e $1.8 per Llama 3.1 405B; OpenRouter oggi lo elenca a $0.22 e $0.50[2][6]
- È rilasciato sotto la Llama 3.3 Community License, che chiede alle piattaforme con oltre 700 milioni di utenti mensili di richiedere una licenza speciale; TechCrunch ha riportato che Llama aveva superato 650 milioni di download, Meta AI quasi 600 milioni di utenti mensili e che Zuckerberg ha detto che l'addestramento di Llama 4 richiederebbe 10x il calcolo di Llama 3, con Meta che ha acquisito un cluster di oltre 100,000 GPU Nvidia[4][5]
Funzionalità principali
- Contesto di 128k token, attenzione a query raggruppate, output multilingue di testo e codice; le otto lingue ufficialmente supportate sono inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese, anche se l'addestramento ne ha coperte di più[4]
- Solo testo: non accetta immagini, a differenza dei modelli di visione Llama 3.2 rilasciati da Meta a settembre[4]
- Llama 3.3 consente inoltre, secondo la sua licenza, di usare i suoi output per migliorare altri modelli, inclusa la generazione di dati sintetici e la distillazione[4]
- Distribuzione: Hugging Face (ad accesso controllato), llama.com e GitHub di Meta, Ollama (`ollama pull llama3.3:70b`, circa 42 GB), Groq e host come Deep Infra, Hyperbolic, Fireworks e Together AI[3][5]
- Meta lo descrive come un modello che offre un'inferenza economica, eseguibile in locale su una tipica workstation per sviluppatori[2]
Benchmark di Meta per i modelli ottimizzati per le istruzioni[4]
| Benchmark | Llama 3.1 8B | Llama 3.1 70B | Llama 3.3 70B | Llama 3.1 405B |
|---|---|---|---|---|
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 86.0 | 88.6 |
| MMLU Pro (CoT, 5-shot) | 48.3 | 66.4 | 68.9 | 73.3 |
| IFEval | 80.4 | 87.5 | 92.1 | 88.6 |
| GPQA Diamond (CoT) | 31.8 | 48.0 | 50.5 | 49.0 |
| HumanEval (pass@1) | 72.6 | 80.5 | 88.4 | 89.0 |
| MBPP EvalPlus (base) | 72.8 | 86.0 | 87.6 | 88.6 |
| MATH (CoT) | 51.9 | 68.0 | 77.0 | 73.8 |
| BFCL v2 | 65.4 | 77.5 | 77.3 | 81.1 |
| MGSM | 68.9 | 86.9 | 91.1 | 91.6 |