DIKONFIRMASIKeyakinan tanggal: DIKONFIRMASIDinyatakan pastiSeberapa tegas sumber menyebutkan tanggalnya: dikonfirmasi, dijadwalkan, diperkirakan, tertunda, atau belum diverifikasi.Tampilkan semua pin DIKONFIRMASIKEYAKINAN 84%Keyakinan keseluruhan: 84%Seberapa baik sumber dan referensi pin mendukung tanggalnya.Rata-rata tertimbang dari seberapa kuat 6 referensi, termasuk sumber, mendukung waktu mulai dan berakhir pin; bobot sebuah referensi berkurang setengahnya untuk setiap 180 hari lebih lama dari yang terbaruTampilkan semua pin dengan keyakinan 75% atau lebih tinggi
Unggahan Meta[1] 'Introducing Llama 3.1: Our most capable models to date' bertanggal 23 Juli 2024 dan menyebut model tersedia untuk diunduh pada hari itu; surat terbuka Zuckerberg dan TechCrunch[6] memuat tanggal yang sama.- Mulai
- 23 Jul 2024KEYAKINAN 90%sumber
Llama 3.1 8B, 70B, dan 405B dirilis
Diterjemahkan otomatis dari aslinya
Judul asli: Llama 3.1 8B, 70B and 405B Released
Meta merilis Llama 3.1 dalam ukuran 8B, 70B, dan 405B dengan jendela konteks 128K; 405B, yang dilatih pada lebih dari 15 triliun token, disebut sebagai model terbuka tingkat frontier pertama dan gratis diunduh.
- Meta merilis Llama 3.1 pada 23 Juli 2024 dalam tiga ukuran, 8B dan 70B yang diperbarui serta 405B baru yang disebutnya model AI sumber terbuka tingkat frontier pertama, dengan bobot yang dapat diunduh gratis dari llama.meta.com dan Hugging Face[1][5]
- Model ini hadir tiga bulan setelah Llama 3 (18 April 2024, 8B dan 70B) dan memiliki jendela konteks 128K token[1][3]
- 405B dilatih pada lebih dari 15 triliun token menggunakan lebih dari 16,000 GPU H100, sebagai transformer padat standar hanya-dekoder dan bukan campuran pakar; kartu Meta menghitung 39.3M jam GPU untuk ketiga ukuran, 30.84M di antaranya untuk 405B[1][2][6]
- Meta mengevaluasi pada lebih dari 150 dataset benchmark ditambah evaluasi manusia dan menyebut 405B kompetitif dengan GPT-4, GPT-4o, dan Claude 3.5 Sonnet; pembacaan TechCrunch adalah setara GPT-4 dan beragam dibandingkan GPT-4o serta Claude 3.5 Sonnet, tertinggal dari Claude dalam pemrograman dan penalaran umum[1][6]
- Lisensi berubah agar pengembang dapat memakai output Llama, termasuk dari 405B, untuk meningkatkan model lain (distilasi dan data sintetis), sementara aplikasi dengan lebih dari 700 juta pengguna bulanan tetap memerlukan lisensi khusus[1][2][6]
- 8B adalah model kecil yang dibagankan: skornya 69.4 di MMLU, 72.6 di HumanEval, dan 84.5 di GSM-8K sebagai model instruct, dibandingkan 87.3, 89.0, dan 96.8 untuk 405B[2]
Fitur unggulan
- Konteks 128K dan delapan bahasa yang didukung, dengan penggunaan alat, kemampuan diarahkan, matematika, terjemahan, dan pemanggilan fungsi bawaan[1][6]
- 405B dikuantisasi dari BF16 16-bit ke FP8 8-bit sehingga dapat berjalan dalam satu node server[1]
- Keamanan dan perkakas yang dirilis bersamaan: Llama Guard 3 (multibahasa), Prompt Guard terhadap injeksi prompt, sistem referensi, dan antarmuka standar Llama Stack sebagai permintaan komentar[1]
- Lebih dari 25 mitra meluncurkan layanan pada hari pertama, di antaranya AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud, dan Snowflake; Meta mengatakan Llama telah melewati 300 juta unduhan, dan 405B juga menjalankan Meta AI di WhatsApp untuk pengguna AS[1][6]
- Surat Zuckerberg berargumen bahwa sumber terbuka menang karena pengembang dapat menyetel, mendistilasi, dan menjalankan model sendiri, dan menempatkan inferensi pada 405B di kisaran separuh biaya GPT-4o[5]
Benchmark[2]
| Benchmark | Llama 3.1 8B Instruct | Llama 3.1 70B Instruct | Llama 3.1 405B Instruct |
|---|---|---|---|
| MMLU (5-shot) | 69.4 | 83.6 | 87.3 |
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 88.6 |
| MMLU-Pro (CoT, 5-shot) | 48.3 | 66.4 | 73.3 |
| IFEval | 80.4 | 87.5 | 88.6 |
| ARC-C (0-shot) | 83.4 | 94.8 | 96.9 |
| GPQA (0-shot) | 30.4 | 46.7 | 50.7 |
| HumanEval (pass@1) | 72.6 | 80.5 | 89.0 |
| MBPP++ base (pass@1) | 72.8 | 86.0 | 88.6 |
| MultiPL-E HumanEval (pass@1) | 50.8 | 65.5 | 75.2 |
| MultiPL-E MBPP (pass@1) | 52.4 | 62.0 | 65.7 |
| GSM-8K (CoT, 8-shot) | 84.5 | 95.1 | 96.8 |
| MATH (CoT, 0-shot) | 51.9 | 68.0 | 73.8 |
| API-Bank (0-shot) | 82.6 | 90.0 | 92.0 |
| BFCL (0-shot) | 76.1 | 84.8 | 88.5 |
| Gorilla API-Bench (0-shot) | 8.2 | 29.7 | 35.3 |
| Nexus (0-shot) | 38.5 | 56.7 | 58.7 |
| Multilingual MGSM (CoT, 0-shot) | 68.9 | 86.9 | 91.6 |
Beli diMeta AI