Google publie « Attention Is All You Need »
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
CONFIRMÉCertitude de la date: CONFIRMÉAnnoncé comme fermeAvec quelle fermeté la source formule la date : confirmée, programmée, estimée, reportée ou non vérifiée.Voir toutes les épingles CONFIRMÉCONFIANCE 88 %Confiance globale: 88%Dans quelle mesure la source et les références du pin étayent ses dates.Moyenne pondérée de la fermeté avec laquelle 3 références, source comprise, étayent les heures de début et de fin de l’épingle ; une référence compte moitié moins pour chaque tranche de 180 jours d’ancienneté par rapport à la plus récenteAfficher toutes les épingles à 75 % de confiance ou plusLes métadonnées d'arXiv[1] pour 1706.03762 donnent citation_date 2017/06/12, et l'article de Wikipédia consacré au papier dit la même chose : « Le 12 juin 2017, le modèle transformer encodeur-décodeur d'origine (100 millions de paramètres) est publié dans l'article 'Attention is all you need'. »
Huit chercheurs de Google publient un article qui remplace la récurrence et la convolution par la seule auto-attention. L'architecture transformer qu'il introduit devient le fondement de presque tous les grands modèles de langage qui suivront.