ПОДТВЕРЖДЕНОДостоверность даты: ПОДТВЕРЖДЕНОУказано как окончательноеНасколько твёрдо источник называет дату: подтверждена, запланирована, примерная, перенесена или не проверена.Показать все пины «ПОДТВЕРЖДЕНО»ДОСТОВЕРНОСТЬ 89%Общая достоверность: 89%Насколько источник и ссылки пина подтверждают его даты.Взвешенное среднее того, насколько 5 источников, включая основной, подтверждают время начала и окончания пина; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новымПоказать все пины с достоверностью 75% и выше
Запись в блоге Microsoft[1] Azure AI Foundry «Introducing Phi-4» датирована 12 дек. 2024 г., на карточке модели Hugging Face[4] указана дата выпуска 12 декабря 2024 г., а технический отчёт был отправлен в arXiv[5] в тот же день; открытые веса появились 8 января 2025 г., а OpenRouter[2] указывает модель с 10 янв. 2025 г.- Начало
- 12 дек. 2024 г.ДОСТОВЕРНОСТЬ 90%от источник
Выпущена Phi-4
Автоматический перевод оригинала
Оригинальное название: Phi-4 Released
Microsoft представляет Phi-4 — небольшую языковую модель на 14B параметров, обученную в основном на синтетических данных, которая набирает 91.8 на математических тестах AMC 10/12 за ноябрь 2024 года, опережая Gemini Pro 1.5 с 89.8, в Azure AI Foundry; открытые веса под лицензией MIT появятся 8 января 2025 года.
- Microsoft представила Phi-4 12 декабря 2024 года — небольшую языковую модель на 14B параметров, которая, по её словам, «превосходно справляется со сложными рассуждениями в таких областях, как математика»; сначала она появилась в Azure AI Foundry, а полные веса — на Hugging Face 8 января 2025 года[1][3]
- Главный результат — в математике: на тестах AMC 10/12 за ноябрь 2024 года Phi-4 набрала в среднем 91.8, опередив Gemini Pro 1.5 с 89.8, GPT-4o с 77.9 и Qwen 2.5 72B с 78.7, по собственной диаграмме Microsoft[1]
- В карточке модели указаны 84.8 на MMLU, 56.1 на GPQA, 80.4 на MATH и 82.6 на HumanEval против 88.1, 50.6, 74.6 и 90.6 у GPT-4o в тех же запусках simple-evals, но всего 3.0 на SimpleQA против 39.4 у GPT-4o[4]
- Веса распространяются по лицензии MIT, поэтому разработчики могут использовать и изменять их в коммерческих целях[3][4]
- Размещённый доступ недорог: OpenRouter указывает $0.07 за 1 миллион входных токенов и $0.14 за 1 миллион выходных токенов при контексте 16K[2]
Ключевые возможности
- Данные важнее масштаба: в отчёте улучшения объясняются синтетическими данными, использованными на всём протяжении предобучения, отобранными органическими данными и изменениями на этапе дообучения, при этом архитектура лишь минимально изменена по сравнению с phi-3[5]
- Около 400B токенов синтетических «учебникоподобных» данных по 50 типам наборов данных для пред- и промежуточного обучения, в запуске на 9.8T токенов длительностью 21 день на 1,920 GPU H100[3][4]
- В вопросах и ответах по STEM она превосходит свою модель-учителя GPT-4, что авторы Microsoft приводят как доказательство того, что метод выходит за рамки дистилляции[3][5]
- Ограничения, названные Microsoft: плохо следует точным инструкциям по форматированию, может выдумывать факты, например биографии, в основном работает с английским (многоязычные данные составляют около 8%), контекст — 16K[3][4]
- В семействе Phi он стоит выше Phi-3, чья модель на 14B набирает 77.9 в MMLU и 31.2 в GPQA в таблице карточки[4]