Google publie « Attention Is All You Need »
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
CONFIRMÉCONFIANCE 88 %Les métadonnées d'arXiv[1] pour 1706.03762 donnent citation_date 2017/06/12, et l'article de Wikipédia consacré au papier dit la même chose : « Le 12 juin 2017, le modèle transformer encodeur-décodeur d'origine (100 millions de paramètres) est publié dans l'article 'Attention is all you need'. »
Huit chercheurs de Google publient un article qui remplace la récurrence et la convolution par la seule auto-attention. L'architecture transformer qu'il introduit devient le fondement de presque tous les grands modèles de langage qui suivront.