グーグル、「Attention Is All You Need」を発表
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
確定日付の確度: 確定確定として発表情報源が日付をどれだけ確定的に述べているか:確定、予定、推定、延期、未確認。「確定」のピンをすべて表示確度 88%総合信頼度: 88%ピンの情報源と参照がその日付をどれだけ裏付けているか。出典を含む 3 件の資料がピンの開始・終了時刻をどれだけ強く裏付けているかの加重平均。最新の資料より180日古くなるごとに重みは半分になります確度75%以上のピンをすべて表示arXiv[1]の1706.03762のメタデータはcitation_dateを2017/06/12としており、ウィキペディアの論文に関する記事も同じ日付を示している。「2017-06-12、最初の(1億パラメーターの)エンコーダー・デコーダー型Transformerモデルが論文『Attention is all you need』で発表された」
グーグルの研究者8人が、再帰や畳み込みを使わず自己注意(セルフアテンション)だけで置き換える論文を投稿した。この論文が導入したTransformerアーキテクチャは、その後のほぼすべての大規模言語モデルの基盤となった。