ПОДТВЕРЖДЕНОДостоверность даты: ПОДТВЕРЖДЕНОУказано как окончательноеНасколько твёрдо источник называет дату: подтверждена, запланирована, примерная, перенесена или не проверена.Показать все пины «ПОДТВЕРЖДЕНО»ДОСТОВЕРНОСТЬ 84%Общая достоверность: 84%Насколько источник и ссылки пина подтверждают его даты.Взвешенное среднее того, насколько 6 источников, включая основной, подтверждают время начала и окончания пина; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новымПоказать все пины с достоверностью 75% и выше
Запись Meta[1] 'Introducing Llama 3.1: Our most capable models to date' датирована 23 июля 2024 года и сообщает, что модели доступны для загрузки в тот же день; открытое письмо Цукерберга и материал TechCrunch[6] датированы тем же числом.- Начало
- 23 июл. 2024 г.ДОСТОВЕРНОСТЬ 90%источник
Llama 3.1 8B, 70B и 405B выпущены
Автоматический перевод оригинала
Оригинальное название: Llama 3.1 8B, 70B and 405B Released
Meta выпускает Llama 3.1 в размерах 8B, 70B и 405B с контекстным окном 128K; 405B, обученная более чем на 15 триллионах токенов, названа первой открытой моделью передового уровня и доступна для бесплатной загрузки.
- Meta выпустила Llama 3.1 23 июля 2024 года в трёх размерах: обновлённые 8B и 70B и новая 405B, которую назвала первой открытой ИИ-моделью передового уровня; веса можно бесплатно скачать с llama.meta.com и Hugging Face[1][5]
- Она вышла через три месяца после Llama 3 (18 апреля 2024 года, 8B и 70B) и имеет контекстное окно в 128K токенов[1][3]
- 405B обучалась более чем на 15 триллионах токенов на более чем 16,000 GPU H100 как стандартный плотный трансформер только с декодером, а не смесь экспертов; в карточке Meta указано 39.3M GPU-часов на три размера, из них 30.84M на 405B[1][2][6]
- Meta оценивала модель на более чем 150 наборах данных бенчмарков плюс оценках людей и назвала 405B конкурентоспособной с GPT-4, GPT-4o и Claude 3.5 Sonnet; по оценке TechCrunch, она на уровне GPT-4 и показывает смешанные результаты против GPT-4o и Claude 3.5 Sonnet, уступая Claude в программировании и общих рассуждениях[1][6]
- Лицензия изменена так, чтобы разработчики могли использовать выводы Llama, в том числе 405B, для улучшения других моделей (дистилляция и синтетические данные), тогда как приложениям с более чем 700 миллионами ежемесячных пользователей по-прежнему нужна особая лицензия[1][2][6]
- 8B — это малая модель на графике: как instruct-модель она набирает 69.4 в MMLU, 72.6 в HumanEval и 84.5 в GSM-8K против 87.3, 89.0 и 96.8 у 405B[2]
Ключевые возможности
- Контекст 128K и восемь поддерживаемых языков со встроенными использованием инструментов, управляемостью, математикой, переводом и вызовом функций[1][6]
- 405B квантована из 16-битной BF16 в 8-битную FP8, чтобы работать на одном серверном узле[1]
- Безопасность и инструменты, выпущенные одновременно: Llama Guard 3 (многоязычная), Prompt Guard против инъекций в промпты, эталонная система и стандартные интерфейсы Llama Stack в виде запроса комментариев[1]
- Более 25 партнёров запустили сервисы в первый же день, среди них AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud и Snowflake; Meta сообщила, что загрузок Llama стало больше 300 миллионов, а 405B также обеспечивала Meta AI в WhatsApp для пользователей из США[1][6]
- В письме Цукерберга утверждается, что открытый исходный код побеждает, потому что разработчики могут сами дообучать, дистиллировать и запускать модели, а инференс на 405B оценивается примерно вдвое дешевле GPT-4o[5]
Бенчмарки[2]
| Бенчмарк | Llama 3.1 8B Instruct | Llama 3.1 70B Instruct | Llama 3.1 405B Instruct |
|---|---|---|---|
| MMLU (5-shot) | 69.4 | 83.6 | 87.3 |
| MMLU (CoT, 0-shot) | 73.0 | 86.0 | 88.6 |
| MMLU-Pro (CoT, 5-shot) | 48.3 | 66.4 | 73.3 |
| IFEval | 80.4 | 87.5 | 88.6 |
| ARC-C (0-shot) | 83.4 | 94.8 | 96.9 |
| GPQA (0-shot) | 30.4 | 46.7 | 50.7 |
| HumanEval (pass@1) | 72.6 | 80.5 | 89.0 |
| MBPP++ base (pass@1) | 72.8 | 86.0 | 88.6 |
| MultiPL-E HumanEval (pass@1) | 50.8 | 65.5 | 75.2 |
| MultiPL-E MBPP (pass@1) | 52.4 | 62.0 | 65.7 |
| GSM-8K (CoT, 8-shot) | 84.5 | 95.1 | 96.8 |
| MATH (CoT, 0-shot) | 51.9 | 68.0 | 73.8 |
| API-Bank (0-shot) | 82.6 | 90.0 | 92.0 |
| BFCL (0-shot) | 76.1 | 84.8 | 88.5 |
| Gorilla API-Bench (0-shot) | 8.2 | 29.7 | 35.3 |
| Nexus (0-shot) | 38.5 | 56.7 | 58.7 |
| Multilingual MGSM (CoT, 0-shot) | 68.9 | 86.9 | 91.6 |
Купить вMeta AI