ĐÃ XÁC NHẬNĐộ tin cậy của ngày: ĐÃ XÁC NHẬNĐược nêu là chắc chắnMức độ chắc chắn mà nguồn nêu ngày: đã xác nhận, đã lên lịch, ước tính, bị hoãn hoặc chưa xác minh.Hiện tất cả ghim ĐÃ XÁC NHẬNĐỘ TIN CẬY 87%Độ tin cậy tổng thể: 87%Mức độ nguồn và tài liệu tham khảo của ghim củng cố các ngày của nó.Trung bình có trọng số về mức độ 6 tài liệu, gồm cả nguồn, ủng hộ thời điểm bắt đầu và kết thúc của ghim; một tài liệu được tính giảm một nửa cho mỗi 180 ngày cũ hơn tài liệu mới nhấtHiện tất cả ghim có độ tin cậy từ 75% trở lên
Thẻ mô hình của Meta ghi 'Model Release Date: 70B Instruct: December 6, 2024'; bài của TechCrunch[5] đề ngày 6 tháng 12 năm 2024 và OpenRouter[6] liệt kê meta-llama/llama-3.3-70b-instruct được tạo cùng ngày.- Bắt đầu
- 6 thg 12, 2024ĐỘ TIN CẬY 90%từ nguồn
Llama 3.3 70B được phát hành
Được dịch tự động từ bản gốc
Tiêu đề gốc: Llama 3.3 70B Released
Meta phát hành Llama 3.3 70B, một mô hình 70B chỉ xử lý văn bản được tinh chỉnh theo chỉ dẫn, mà Meta cho biết mang lại hiệu năng của Llama 3.1 405B với chi phí thấp hơn, có cửa sổ ngữ cảnh 128K và trọng số mở; biểu đồ của Meta định giá ở mức $0.1 cho mỗi triệu token đầu vào.
- Meta phát hành Llama 3.3 70B vào ngày 6 tháng 12 năm 2024, khoảng bốn tháng rưỡi sau Llama 3.1, một mô hình 70B được tinh chỉnh theo chỉ dẫn, nhập và xuất văn bản, mà Meta cho biết 'mang lại hiệu năng của mô hình Llama lớn nhất của Meta, Llama 3.1 405B, với chi phí thấp hơn'; Phó chủ tịch AI tạo sinh Ahmad Al-Dahle nói rằng nó 'cải thiện hiệu năng cốt lõi với chi phí thấp hơn đáng kể'[1][5]
- Mô hình được phát hành dưới dạng một mô hình 70B duy nhất, huấn luyện trước trên khoảng 15 nghìn tỷ token từ các nguồn công khai với mốc dữ liệu tháng 12 năm 2023, và Meta tinh chỉnh bằng dữ liệu chỉ dẫn công khai cùng hơn 25M ví dụ tổng hợp bằng SFT và RLHF; Meta nêu 7.0M giờ GPU H100-80GB[1][4]
- Trong bảng mô hình tinh chỉnh theo chỉ dẫn của chính Meta, nó ngang Llama 3.1 70B ở MMLU (CoT, 86.0) và vượt ở MMLU Pro (68.9 so với 66.4), IFEval (92.1 so với 87.5), HumanEval (88.4 so với 80.5), MATH (77.0 so với 68.0) và MGSM (91.1 so với 86.9); ở IFEval, MATH và GPQA Diamond (50.5 so với 49.0) nó cũng nhỉnh hơn 405B[1][4]
- So với các đối thủ đóng trong biểu đồ của Meta, nó dẫn trước GPT-4o ở IFEval (92.1 so với 84.6), HumanEval (88.4 so với 86.0) và MATH (77.0 so với 76.9) nhưng thua ở MMLU Pro (68.9 so với 73.8), còn Claude 3.5 Sonnet và Gemini 1.5 Pro vẫn dẫn đầu ở nhiều hàng về lập trình và toán[2][3]
- Hàng chi phí trong cùng biểu đồ chính là điểm bán hàng: $0.1 cho mỗi triệu token đầu vào và $0.4 cho mỗi triệu token đầu ra, mức giá nhà cung cấp rẻ nhất, so với $2.5 và $10 của GPT-4o, $3 và $15 của Claude 3.5 Sonnet, $0.80 và $3.20 của Amazon Nova Pro và $1.0 và $1.8 của Llama 3.1 405B; hiện OpenRouter niêm yết ở mức $0.22 và $0.50[2][6]
- Mô hình được phát hành theo Llama 3.3 Community License, yêu cầu các nền tảng có trên 700 triệu người dùng hằng tháng xin giấy phép đặc biệt; TechCrunch đưa tin Llama đã vượt 650 triệu lượt tải, Meta AI gần 600 triệu người dùng hằng tháng và Zuckerberg nói huấn luyện Llama 4 sẽ cần 10x năng lực tính toán của Llama 3, với việc Meta đã mua cụm hơn 100,000 GPU Nvidia[4][5]
Tính năng nổi bật
- Ngữ cảnh 128k token, chú ý truy vấn theo nhóm, đầu ra văn bản và mã đa ngôn ngữ; tám ngôn ngữ được hỗ trợ chính thức là tiếng Anh, Đức, Pháp, Ý, Bồ Đào Nha, Hindi, Tây Ban Nha và Thái, dù quá trình huấn luyện bao gồm nhiều hơn[4]
- Chỉ văn bản: không nhận hình ảnh, khác với các mô hình thị giác Llama 3.2 mà Meta đã phát hành vào tháng 9[4]
- Llama 3.3 cũng cho phép, theo giấy phép của nó, dùng đầu ra của mô hình để cải thiện các mô hình khác, bao gồm tạo dữ liệu tổng hợp và chưng cất[4]
- Phân phối: Hugging Face (có kiểm soát truy cập), llama.com và GitHub của Meta, Ollama (`ollama pull llama3.3:70b`, khoảng 42 GB), Groq và các nhà cung cấp như Deep Infra, Hyperbolic, Fireworks và Together AI[3][5]
- Meta mô tả mô hình cung cấp suy luận tiết kiệm chi phí và có thể chạy cục bộ trên một máy trạm lập trình viên thông thường[2]
Các bài kiểm tra chuẩn của Meta cho mô hình tinh chỉnh theo chỉ dẫn[4]
| Benchmark | Llama 3.1 8B | Llama 3.1 70B | Llama 3.3 70B | Llama 3.1 405B |
|---|---|---|---|---|
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 86.0 | 88.6 |
| MMLU Pro (CoT, 5-shot) | 48.3 | 66.4 | 68.9 | 73.3 |
| IFEval | 80.4 | 87.5 | 92.1 | 88.6 |
| GPQA Diamond (CoT) | 31.8 | 48.0 | 50.5 | 49.0 |
| HumanEval (pass@1) | 72.6 | 80.5 | 88.4 | 89.0 |
| MBPP EvalPlus (base) | 72.8 | 86.0 | 87.6 | 88.6 |
| MATH (CoT) | 51.9 | 68.0 | 77.0 | 73.8 |
| BFCL v2 | 65.4 | 77.5 | 77.3 | 81.1 |
| MGSM | 68.9 | 86.9 | 91.1 | 91.6 |