Выпущена Llama 3.3 70B

• Meta выпустила Llama 3.3 70B 6 декабря 2024 года, примерно через четыре с половиной месяца после Llama 3.1, — инструктивно настроенную модель на 70B с текстовым входом и выходом, которая, по словам Meta, 'обеспечивает производительность крупнейшей модели Llama от Meta, Llama 3.1 405B, при меньших затратах'; вице-президент по генеративному ИИ Ахмад Аль-Дахле сказал, что она 'улучшает базовую производительность при значительно меньших затратах'^[1][5]
• Выпущена одна модель на 70B, предобученная примерно на 15 триллионах токенов из открытых источников со сроком отсечки в декабре 2023 года; Meta дообучила её на открытых инструктивных данных и более чем 25M синтетических примеров с помощью SFT и RLHF; Meta указывает 7.0M GPU-часов H100-80GB^[1][4]
• В собственной таблице Meta для инструктивно настроенных моделей она сравнивается с Llama 3.1 70B по MMLU (CoT, 86.0) и обгоняет её по MMLU Pro (68.9 против 66.4), IFEval (92.1 против 87.5), HumanEval (88.4 против 80.5), MATH (77.0 против 68.0) и MGSM (91.1 против 86.9); по IFEval, MATH и GPQA Diamond (50.5 против 49.0) она немного опережает и 405B^[1][4]
• В сравнении с закрытыми конкурентами в диаграмме Meta она опережает GPT-4o по IFEval (92.1 против 84.6), HumanEval (88.4 против 86.0) и MATH (77.0 против 76.9), но уступает по MMLU Pro (68.9 против 73.8), а Claude 3.5 Sonnet и Gemini 1.5 Pro по-прежнему впереди по ряду показателей программирования и математики^[2][3]
• Строка стоимости в той же диаграмме — главный довод для продажи: $0.1 за миллион входных токенов и $0.4 за миллион выходных, самая низкая цена среди провайдеров, против $2.5 и $10 у GPT-4o, $3 и $15 у Claude 3.5 Sonnet, $0.80 и $3.20 у Amazon Nova Pro и $1.0 и $1.8 у Llama 3.1 405B; сегодня OpenRouter указывает $0.22 и $0.50^[2][6]
• Выпущена по лицензии Llama 3.3 Community License, которая требует от платформ с более чем 700 миллионами ежемесячных пользователей запрашивать специальную лицензию; TechCrunch сообщил, что Llama скачали более 650 миллионов раз, у Meta AI почти 600 миллионов ежемесячных пользователей, а Цукерберг сказал, что для обучения Llama 4 потребуется в 10x больше вычислений, чем для Llama 3, и что Meta приобрела кластер из более чем 100,000 GPU Nvidia^[4][5]

Ключевые возможности

• Контекст в 128k токенов, групповое внимание к запросам, многоязычный вывод текста и кода; восемь официально поддерживаемых языков — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский, хотя обучение охватывало больше^[4]
• Только текст: она не принимает изображения, в отличие от моделей зрения Llama 3.2, выпущенных Meta в сентябре^[4]
• Llama 3.3 также разрешает по своей лицензии использовать её выходные данные для улучшения других моделей, включая генерацию синтетических данных и дистилляцию^[4]
• Распространение: Hugging Face (с ограниченным доступом), llama.com и GitHub от Meta, Ollama (`ollama pull llama3.3:70b`, около 42 GB), Groq и хостинг-провайдеры вроде Deep Infra, Hyperbolic, Fireworks и Together AI^[3][5]
• Meta описывает её как модель с экономичным выводом, которую можно запускать локально на обычной рабочей станции разработчика^[2]

Бенчмарки Meta для моделей с инструктивной настройкой^[4]