- Bắt đầu
- 12 thg 3, 2025ĐỘ TIN CẬY 90%nguồn
Gemma 3 4B, 12B, 27B và 1B được phát hành
Được dịch tự động từ bản gốc
Tiêu đề gốc: Gemma 3 4B, 12B, 27B and 1B Released
Google phát hành Gemma 3, các mô hình mở cỡ 1B, 4B, 12B và 27B có khả năng thị giác, cửa sổ ngữ cảnh 128K và hỗ trợ 140 ngôn ngữ; bản 27B đạt 1338 điểm trên LMArena còn bản 4B được đặt cạnh Gemma 2 27B.
- Google phát hành Gemma 3 vào ngày 12 tháng 3 năm 2025 với bốn cỡ 1B, 4B, 12B và 27B, mỗi cỡ gồm bản huấn luyện trước và bản tinh chỉnh theo chỉ dẫn, và gọi đây là mô hình mạnh nhất có thể chạy trên một GPU hoặc TPU duy nhất[1][5]
- Mô hình kế nhiệm Gemma 2 hồi tháng 6 năm 2024, bổ sung khả năng thị giác cho mọi cỡ trừ 1B, ngữ cảnh 128K token (32K ở bản 1B) và hỗ trợ huấn luyện trước hơn 140 ngôn ngữ, trong đó hơn 35 ngôn ngữ dùng được ngay; bản 1B là ngoại lệ: chỉ xử lý văn bản và chỉ tiếng Anh[1][3][5]
- Tuyên bố nổi bật của Google là bản 27B đạt 1338 điểm trên LMArena, vượt Llama 3.1 405B, DeepSeek-V3 và o3-mini trong kết quả sơ bộ về sự ưa thích của con người; báo cáo kỹ thuật bổ sung rằng mô hình 4B instruct cạnh tranh được với Gemma 2 27B[1][4][6]
- Bản 4B là con ngựa thồ đa phương thức nhỏ gọn: đạt 43.6 trên MMLU-Pro, 75.6 trên MATH và 70.1 trên FACTS Grounding, so với 46.8, 49.4 và 62.0 của Gemma 2 9B, nên mức cải thiện nằm ở toán học và tính xác thực chứ không phải kiến thức tổng quát[4]
- Giá dịch vụ lưu trữ rất rẻ: OpenRouter niêm yết bản 4B ở mức $0.05 cho mỗi 1 triệu token đầu vào và $0.10 cho mỗi 1 triệu token đầu ra[2]
Tính năng nổi bật
- Đầu vào đa phương thức: hình ảnh được mã hóa bằng bộ mã hóa thị giác SigLIP dùng chung cho 4B, 12B và 27B, thiết kế cho ảnh 896x896 với cửa sổ thích ứng cho ảnh độ phân giải cao và không vuông[5]
- Được huấn luyện với 2T, 4T, 12T và 14T token cho các bản 1B, 4B, 12B và 27B, trên TPU của Google bằng JAX; giai đoạn hậu huấn luyện dùng chưng cất, RLHF và phản hồi về toán (RLMF) và thực thi mã (RLEF)[5]
- Gọi hàm và đầu ra có cấu trúc, các phiên bản lượng tử hóa chính thức, và có sẵn qua Google AI Studio, Hugging Face, Kaggle, Ollama, Vertex AI và Cloud Run[1][5]
- ShieldGemma 2, công cụ kiểm tra an toàn hình ảnh cỡ 4B xây dựng trên Gemma 3, ra mắt cùng lúc, và kiến trúc tăng tỷ lệ lớp chú ý cục bộ so với toàn cục để giảm bộ nhớ cho ngữ cảnh dài[1][4]
- Trọng số có thể tải miễn phí từ Hugging Face và Kaggle, dù Wikipedia xếp Gemma vào loại source-available chứ không phải mã nguồn mở[1][3]
Benchmark[4]
| Benchmark | Gemma 2 2B | Gemma 2 9B | Gemma 2 27B | Gemma 3 1B | Gemma 3 4B | Gemma 3 12B | Gemma 3 27B |
|---|---|---|---|---|---|---|---|
| MMLU-Pro | 15.6 | 46.8 | 56.9 | 14.7 | 43.6 | 60.6 | 67.5 |
| LiveCodeBench | 1.2 | 10.8 | 20.4 | 1.9 | 12.6 | 24.6 | 29.7 |
| Bird-SQL (dev) | 12.2 | 33.8 | 46.7 | 6.4 | 36.3 | 47.9 | 54.4 |
| GPQA Diamond | 24.7 | 28.8 | 34.3 | 19.2 | 30.8 | 40.9 | 42.4 |
| SimpleQA | 2.8 | 5.3 | 9.2 | 2.2 | 4.0 | 6.3 | 10.0 |
| FACTS Grounding | 43.8 | 62.0 | 62.4 | 36.4 | 70.1 | 75.8 | 74.9 |
| Global MMLU-Lite | 41.9 | 64.8 | 68.6 | 34.2 | 54.5 | 69.5 | 75.1 |
| MATH | 27.2 | 49.4 | 55.6 | 48.0 | 75.6 | 83.8 | 89.0 |
| HiddenMath | 1.8 | 10.4 | 14.8 | 15.8 | 43.0 | 54.5 | 60.3 |
| MMMU (val) | - | - | - | - | 48.8 | 59.6 | 64.9 |
Mua tạiGemini