Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
DIKONFIRMASIKeyakinan tanggal: DIKONFIRMASIDinyatakan pastiSeberapa tegas sumber menyebutkan tanggalnya: dikonfirmasi, dijadwalkan, diperkirakan, tertunda, atau belum diverifikasi.Tampilkan semua pin DIKONFIRMASIKEYAKINAN 88%Keyakinan keseluruhan: 88%Seberapa baik sumber dan referensi pin mendukung tanggalnya.Rata-rata tertimbang dari seberapa kuat 3 referensi, termasuk sumber, mendukung waktu mulai dan berakhir pin; bobot sebuah referensi berkurang setengahnya untuk setiap 180 hari lebih lama dari yang terbaruTampilkan semua pin dengan keyakinan 75% atau lebih tinggiMetadata arXiv[1] sendiri untuk 1706.03762 mencantumkan citation_date 2017/06/12, dan artikel Wikipedia[2][3] tentang makalah itu menyatakan hal yang sama: "On 2017-06-12, the original (100M-parameter) encoder-decoder transformer model was published in the 'Attention is all you need' paper."
Delapan peneliti Google mengunggah makalah yang menggantikan rekurensi dan konvolusi dengan self-attention saja. Arsitektur transformer yang diperkenalkannya menjadi dasar hampir semua model bahasa besar yang menyusul.