Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
ПОДТВЕРЖДЕНОДостоверность даты: ПОДТВЕРЖДЕНОУказано как окончательноеНасколько твёрдо источник называет дату: подтверждена, запланирована, примерная, перенесена или не проверена.Показать все пины «ПОДТВЕРЖДЕНО»ДОСТОВЕРНОСТЬ 88%Общая достоверность: 88%Насколько источник и ссылки пина подтверждают его даты.Взвешенное среднее того, насколько 3 источника, включая основной, подтверждают время начала и окончания пина; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новымПоказать все пины с достоверностью 75% и выше
Метаданные arXiv[1] для 1706.03762 указывают citation_date 2017/06/12, и статья Wikipedia[2][3] об этой работе говорит то же самое: «12.06.2017 была опубликована исходная модель трансформера кодировщик-декодировщик (со 100M параметров) в статье “Attention is all you need”».Восемь исследователей Google публикуют работу, в которой рекуррентность и свёртка заменены одним лишь самовниманием. Представленная в ней архитектура трансформера становится основой почти всех последующих больших языковых моделей.
1.00