Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
Метаданные arXiv[1] для 1706.03762 указывают citation_date 2017/06/12, и статья Wikipedia[2][3] об этой работе говорит то же самое: «12.06.2017 была опубликована исходная модель трансформера кодировщик-декодировщик (со 100M параметров) в статье “Attention is all you need”».
Восемь исследователей Google публикуют работу, в которой рекуррентность и свёртка заменены одним лишь самовниманием. Представленная в ней архитектура трансформера становится основой почти всех последующих больших языковых моделей.