- Início
- 12 de jun. de 201790% DE CONFIANÇAde a fonte
O Google publica Attention Is All You Need
Traduzido automaticamente do original
Título original: Google Publishes Attention Is All You Need
- “Attention Is All You Need” foi postado no arXiv em 12 de junho de 2017 por oito cientistas e engenheiros do Google: Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser e Polosukhin[1][2]
- Seu resumo começa: “Os modelos dominantes de transdução de sequências baseiam-se em redes neurais recorrentes ou convolucionais complexas em uma configuração codificador-decodificador.” A resposta do artigo foi só a atenção[1]
- O transformer codificador-decodificador original tinha 100M de parâmetros; o foco na época era melhorar as técnicas Seq2seq, com base no mecanismo de atenção proposto por Bahdanau et al. em 2014[2]
- A arquitetura “tornou-se a principal arquitetura de uma grande variedade de sistemas de inteligência artificial, incluindo grandes modelos de linguagem”[2]
- Depois da publicação, cada um dos oito autores deixou o Google para entrar em outras empresas ou fundar startups[2]
Referências 388% DE CONFIANÇAConfiança geral: 88%Quanto a fonte e as referências do pin sustentam suas datas.Média ponderada de quanto 3 referências, incluindo a fonte, sustentam os horários de início e fim do pin; uma referência conta metade a cada 180 dias a mais em relação à mais recenteMostrar todos os pins com confiança de 75% ou mais
A primeira entrada é sempre a fonte do pin. A confiança geral é uma média ponderada de quanto cada referência sustenta os horários de início e fim usados acima; uma referência conta metade a cada 180 dias a mais em relação à mais recente.
- [1]90%arxiv.org/abs/1706.03762arxiv.org· Postado em 22 de set. de 2026· Início 12 de jun. de 2017 ✓· 33% da pontuação
Os metadados do próprio arXiv para 1706.03762 dão citation_date 2017/06/12, e o artigo da Wikipédia sobre o trabalho diz o mesmo: “Em 12/06/2017, o modelo transformer codificador-decodificador original (de 100M de parâmetros) foi publicado no artigo ‘Attention is all you need’.”
- [2]90%Attention Is All You Needen.wikipedia.org· Adicionado em 22 de set. de 2026· 33% da pontuação
Dates the paper to 12 June 2017 and describes what it did: "a 2017 research paper on machine learning authored by eight scientists and engineers working at Google" introducing the transformer, "based on the attention mechanism proposed in 2014 by Bahdanau et al.", which "has become the main architecture of a wide variety of artificial intelligence systems, including large language models". It also records that all eight authors later left Google.[1]
- [3]85%Transformer (deep learning architecture)en.wikipedia.org· Adicionado em 22 de set. de 2026· 33% da pontuação
The architecture itself, for how self-attention replaced recurrence and what was built on it afterwards.[1]
Sugerir uma correção
Falta algo ou há um erro? Diga com suas palavras: um link que sustente este pin, uma data de início ou fim diferente e por quê, ou um fato que falta ou está errado. A IA confere isso com as fontes do pin, procura outras melhores e adiciona qualquer página que dê razão a você. As fontes do próprio pin continuam contando mais. Uma imagem que mostra outra coisa, ou mostra mal, também é analisada e rebaixada ou substituída.
