CONFIRMADOConfiança da data: CONFIRMADOInformado como definitivoQuão firme a fonte é sobre a data: confirmada, agendada, estimada, adiada ou não verificada.Mostrar todos os pins CONFIRMADO89% DE CONFIANÇAConfiança geral: 89%Quanto a fonte e as referências do pin sustentam suas datas.Média ponderada de quanto 5 referências, incluindo a fonte, sustentam os horários de início e fim do pin; uma referência conta metade a cada 180 dias a mais em relação à mais recenteMostrar todos os pins com confiança de 75% ou mais
A publicação do blog Azure AI Foundry da Microsoft[1] «Introducing Phi-4» é datada de 12 dez 2024, o cartão do modelo no Hugging Face[4] indica a data de lançamento de 12 de dezembro de 2024 e o relatório técnico foi enviado ao arXiv[5] no mesmo dia; os pesos abertos vieram em 8 de janeiro de 2025 e a OpenRouter[2] o lista desde 10 jan 2025.- Início
- 12 de dez. de 202490% DE CONFIANÇAde a fonte
Phi-4 lançado
Traduzido automaticamente do original
Título original: Phi-4 Released
A Microsoft apresenta o Phi-4, um modelo de linguagem pequeno de 14B parâmetros treinado principalmente com dados sintéticos que marca 91.8 nos testes de matemática AMC 10/12 de novembro de 2024, à frente do Gemini Pro 1.5 com 89.8, no Azure AI Foundry; os pesos abertos com licença MIT chegam em 8 de janeiro de 2025.
- A Microsoft apresentou o Phi-4 em 12 de dezembro de 2024, um modelo de linguagem pequeno de 14B parâmetros que, segundo a empresa, “se destaca em raciocínio complexo em áreas como matemática”, primeiro no Azure AI Foundry, com os pesos completos no Hugging Face em 8 de janeiro de 2025[1][3]
- O resultado de destaque é em matemática: nos testes AMC 10/12 de novembro de 2024, o Phi-4 teve média de 91.8, à frente do Gemini Pro 1.5 com 89.8, do GPT-4o com 77.9 e do Qwen 2.5 72B com 78.7, segundo o próprio gráfico da Microsoft[1]
- O cartão do modelo lista 84.8 no MMLU, 56.1 no GPQA, 80.4 no MATH e 82.6 no HumanEval, contra 88.1, 50.6, 74.6 e 90.6 do GPT-4o nas mesmas execuções do simple-evals, mas apenas 3.0 no SimpleQA contra 39.4 do GPT-4o[4]
- Os pesos têm licença MIT, de modo que os desenvolvedores podem usá-los e modificá-los comercialmente[3][4]
- O acesso hospedado é barato: a OpenRouter lista $0.07 por 1 milhão de tokens de entrada e $0.14 por 1 milhão de tokens de saída com contexto de 16K[2]
Principais recursos
- Dados em vez de escala: o relatório atribui os ganhos a dados sintéticos usados em todo o pré-treinamento, dados orgânicos selecionados e mudanças no pós-treinamento, com uma arquitetura minimamente alterada em relação ao phi-3[5]
- Cerca de 400B tokens de dados sintéticos “do tipo livro didático” em 50 tipos de conjuntos de dados para pré-treinamento e treinamento intermediário, em uma execução de 9.8T tokens de 21 dias em 1,920 GPUs H100[3][4]
- Em perguntas e respostas de STEM, ele supera seu modelo professor GPT-4, o que os autores da Microsoft citam como evidência de que a receita vai além da destilação[3][5]
- Limitações indicadas pela Microsoft: fraco em seguir instruções de formatação exatas, pode inventar fatos como biografias, majoritariamente em inglês (os dados multilíngues são cerca de 8%) e contexto de 16K[3][4]
- Fica acima do Phi-3 na família Phi, cujo modelo de 14B obtém 77.9 no MMLU e 31.2 no GPQA na tabela do cartão[4]