DISAHKANKeyakinan tarikh: DISAHKANDinyatakan sebagai tetapSejauh mana sumber menyatakan tarikh itu: disahkan, dijadualkan, dianggarkan, ditangguhkan atau belum disahkan.Tunjuk semua pin DISAHKAN87% KEYAKINANKeyakinan keseluruhan: 87%Sejauh mana sumber dan rujukan pin menyokong tarikhnya.Purata berpemberat bagi sejauh mana 6 rujukan, termasuk sumber, menyokong masa mula dan tamat pin; sesebuah rujukan diambil kira separuh kurang bagi setiap 180 hari lebih lama daripada yang terbaharuTunjuk semua pin pada keyakinan 75% atau lebih baik
Kad model Meta menyenaraikan 'Model Release Date: 70B Instruct: December 6, 2024'; laporan TechCrunch[5] bertarikh 6 Disember 2024 dan OpenRouter[6] menyenaraikan meta-llama/llama-3.3-70b-instruct sebagai dicipta pada hari yang sama.- Mula
- 6 Dis 202490% KEYAKINANdaripada sumber
Llama 3.3 70B Dilancarkan
Diterjemah secara automatik daripada asal
Tajuk asal: Llama 3.3 70B Released
Meta melancarkan Llama 3.3 70B, model 70B teks sahaja yang ditala arahan yang menurut Meta memberikan prestasi Llama 3.1 405B pada kos lebih rendah, dengan tetingkap konteks 128K dan pemberat terbuka; carta Meta meletakkan harganya pada $0.1 setiap sejuta token input.
- Meta melancarkan Llama 3.3 70B pada 6 Disember 2024, kira-kira empat setengah bulan selepas Llama 3.1, model 70B yang ditala arahan dengan input dan output teks, yang menurut Meta 'memberikan prestasi model Llama terbesar Meta, Llama 3.1 405B, pada kos lebih rendah'; Naib Presiden AI generatif Ahmad Al-Dahle berkata ia 'meningkatkan prestasi teras pada kos yang jauh lebih rendah'[1][5]
- Ia dikeluarkan sebagai satu model 70B, dipralatih pada kira-kira 15 trilion token daripada sumber awam dengan tarikh potong Disember 2023, dan Meta menalanya dengan data arahan awam serta lebih 25M contoh sintetik menggunakan SFT dan RLHF; Meta menyenaraikan 7.0M jam GPU H100-80GB untuknya[1][4]
- Dalam jadual model ditala arahan Meta sendiri, ia menyamai Llama 3.1 70B pada MMLU (CoT, 86.0) dan mengunggulinya pada MMLU Pro (68.9 berbanding 66.4), IFEval (92.1 berbanding 87.5), HumanEval (88.4 berbanding 80.5), MATH (77.0 berbanding 68.0) dan MGSM (91.1 berbanding 86.9); pada IFEval, MATH dan GPQA Diamond (50.5 berbanding 49.0) ia turut mendahului 405B sedikit[1][4]
- Berbanding pesaing tertutup dalam carta Meta, ia mengunggului GPT-4o pada IFEval (92.1 berbanding 84.6), HumanEval (88.4 berbanding 86.0) dan MATH (77.0 berbanding 76.9) tetapi ketinggalan pada MMLU Pro (68.9 berbanding 73.8), dan Claude 3.5 Sonnet serta Gemini 1.5 Pro kekal mendahului pada beberapa baris pengekodan dan matematik[2][3]
- Baris kos dalam carta yang sama ialah hujah jualannya: $0.1 setiap sejuta token input dan $0.4 setiap sejuta token output, harga pembekal termurah, berbanding $2.5 dan $10 untuk GPT-4o, $3 dan $15 untuk Claude 3.5 Sonnet, $0.80 dan $3.20 untuk Amazon Nova Pro serta $1.0 dan $1.8 untuk Llama 3.1 405B; OpenRouter hari ini menyenaraikannya pada $0.22 dan $0.50[2][6]
- Ia dikeluarkan di bawah Llama 3.3 Community License, yang meminta platform melebihi 700 juta pengguna bulanan memohon lesen khas; TechCrunch melaporkan Llama melepasi 650 juta muat turun, Meta AI hampir 600 juta pengguna bulanan dan Zuckerberg berkata latihan Llama 4 memerlukan 10x pengiraan Llama 3, dengan Meta telah memperoleh kluster lebih 100,000 GPU Nvidia[4][5]
Ciri-ciri utama
- Konteks 128k token, perhatian pertanyaan berkumpulan, output teks dan kod berbilang bahasa; lapan bahasa yang disokong secara rasmi ialah Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai, walaupun latihan merangkumi lebih banyak[4]
- Teks sahaja: ia tidak menerima imej, tidak seperti model penglihatan Llama 3.2 yang dikeluarkan Meta pada September[4]
- Llama 3.3 juga membenarkan penggunaan outputnya untuk menambah baik model lain, termasuk penjanaan data sintetik dan penyulingan, di bawah lesennya[4]
- Pengedaran: Hugging Face (berpagar), llama.com dan GitHub Meta, Ollama (`ollama pull llama3.3:70b`, kira-kira 42 GB), Groq serta hos seperti Deep Infra, Hyperbolic, Fireworks dan Together AI[3][5]
- Meta menerangkannya sebagai menawarkan inferens kos efisien yang boleh dijalankan secara setempat pada stesen kerja pembangun biasa[2]
Penanda aras Meta untuk model yang ditala arahan[4]
| Penanda aras | Llama 3.1 8B | Llama 3.1 70B | Llama 3.3 70B | Llama 3.1 405B |
|---|---|---|---|---|
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 86.0 | 88.6 |
| MMLU Pro (CoT, 5-shot) | 48.3 | 66.4 | 68.9 | 73.3 |
| IFEval | 80.4 | 87.5 | 92.1 | 88.6 |
| GPQA Diamond (CoT) | 31.8 | 48.0 | 50.5 | 49.0 |
| HumanEval (pass@1) | 72.6 | 80.5 | 88.4 | 89.0 |
| MBPP EvalPlus (base) | 72.8 | 86.0 | 87.6 | 88.6 |
| MATH (CoT) | 51.9 | 68.0 | 77.0 | 73.8 |
| BFCL v2 | 65.4 | 77.5 | 77.3 | 81.1 |
| MGSM | 68.9 | 86.9 | 91.1 | 91.6 |