Llama 3.3 70B Dirilis

• Meta merilis Llama 3.3 70B pada 6 Desember 2024, sekitar empat setengah bulan setelah Llama 3.1, model 70B yang disetel instruksi dengan masukan dan keluaran teks, yang menurut Meta 'memberikan performa model Llama terbesar Meta, Llama 3.1 405B, dengan biaya lebih rendah'; VP AI generatif Ahmad Al-Dahle mengatakan model ini 'meningkatkan performa inti dengan biaya yang jauh lebih rendah'^[1][5]
• Model ini dirilis sebagai satu model 70B, dipralatih pada sekitar 15 triliun token dari sumber publik dengan batas data Desember 2023, dan Meta menyetelnya dengan data instruksi publik ditambah lebih dari 25M contoh sintetis menggunakan SFT dan RLHF; Meta mencantumkan 7.0M jam GPU H100-80GB^[1][4]
• Pada tabel model yang disetel instruksi milik Meta sendiri, model ini menyamai Llama 3.1 70B pada MMLU (CoT, 86.0) dan mengungguli pada MMLU Pro (68.9 dibanding 66.4), IFEval (92.1 dibanding 87.5), HumanEval (88.4 dibanding 80.5), MATH (77.0 dibanding 68.0), dan MGSM (91.1 dibanding 86.9); pada IFEval, MATH, dan GPQA Diamond (50.5 dibanding 49.0) model ini juga sedikit unggul atas 405B^[1][4]
• Dibandingkan pesaing tertutup di bagan Meta, model ini unggul atas GPT-4o pada IFEval (92.1 dibanding 84.6), HumanEval (88.4 dibanding 86.0), dan MATH (77.0 dibanding 76.9) tetapi tertinggal pada MMLU Pro (68.9 dibanding 73.8), dan Claude 3.5 Sonnet serta Gemini 1.5 Pro tetap unggul pada beberapa baris pemrograman dan matematika^[2][3]
• Baris biaya pada bagan yang sama adalah nilai jualnya: $0.1 per sejuta token masukan dan $0.4 per sejuta token keluaran, harga penyedia termurah, dibanding $2.5 dan $10 untuk GPT-4o, $3 dan $15 untuk Claude 3.5 Sonnet, $0.80 dan $3.20 untuk Amazon Nova Pro, serta $1.0 dan $1.8 untuk Llama 3.1 405B; OpenRouter saat ini mencantumkannya di $0.22 dan $0.50^[2][6]
• Model ini dirilis di bawah Llama 3.3 Community License, yang meminta platform di atas 700 juta pengguna bulanan mengajukan lisensi khusus; TechCrunch melaporkan Llama telah melampaui 650 juta unduhan, Meta AI hampir 600 juta pengguna bulanan, dan Zuckerberg mengatakan pelatihan Llama 4 akan membutuhkan 10x komputasi Llama 3, dengan Meta telah mengadakan klaster lebih dari 100,000 GPU Nvidia^[4][5]

Fitur unggulan

• Konteks 128k token, grouped-query attention, keluaran teks dan kode multibahasa; delapan bahasa yang didukung secara resmi adalah Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai, meski pelatihan mencakup lebih banyak^[4]
• Hanya teks: tidak menerima gambar, berbeda dengan model visi Llama 3.2 yang dirilis Meta pada September^[4]
• Llama 3.3 juga mengizinkan penggunaan keluarannya untuk meningkatkan model lain, termasuk pembuatan data sintetis dan distilasi, di bawah lisensinya^[4]
• Distribusi: Hugging Face (dengan akses terbatas), llama.com dan GitHub milik Meta, Ollama (`ollama pull llama3.3:70b`, sekitar 42 GB), Groq, dan penyedia seperti Deep Infra, Hyperbolic, Fireworks, dan Together AI^[3][5]
• Meta menggambarkannya menawarkan inferensi hemat biaya yang dapat dijalankan secara lokal pada workstation pengembang pada umumnya^[2]

Tolok ukur Meta untuk model yang disetel instruksi^[4]