確定日付の確度: 確定確定として発表情報源が日付をどれだけ確定的に述べているか：確定、予定、推定、延期、未確認。「確定」のピンをすべて表示確度 88%総合信頼度: 88%ピンの情報源と参照がその日付をどれだけ裏付けているか。出典を含む 3 件の資料がピンの開始・終了時刻をどれだけ強く裏付けているかの加重平均。最新の資料より180日古くなるごとに重みは半分になります確度75%以上のピンをすべて表示
arXiv[1]の1706.03762のメタデータはcitation_dateを2017/06/12としており、ウィキペディアの論文に関する記事も同じ日付を示している。「2017-06-12、最初の（1億パラメーターの）エンコーダー・デコーダー型Transformerモデルが論文『Attention is all you need』で発表された」グーグル、「Attention Is All You Need」を発表
原文から自動翻訳されています
元のタイトル: Google Publishes Attention Is All You Need
グーグルの研究者8人が、再帰や畳み込みを使わず自己注意（セルフアテンション）だけで置き換える論文を投稿した。この論文が導入したTransformerアーキテクチャは、その後のほぼすべての大規模言語モデルの基盤となった。
- 「Attention Is All You Need」は2017年6月12日、グーグルの科学者・エンジニア8人（ヴァスワニ、シャジーア、パーマー、ウスコライト、ジョーンズ、ゴメス、カイザー、ポロスキン）によってarXivに投稿された[1][2]
- 要旨は次のように始まる。「主流の系列変換モデルは、エンコーダー・デコーダー構成の複雑な再帰型または畳み込み型ニューラルネットワークに基づいている」。論文が示した答えは、注意機構だけを使うことだった[1]
- 最初のエンコーダー・デコーダー型Transformerのパラメーター数は1億（100M）だった。当時の焦点は、バダナウらが2014年に提案した注意機構を土台に、Seq2seqの手法を改良することにあった[2]
- このアーキテクチャは「大規模言語モデルを含む、多種多様な人工知能システムの主要なアーキテクチャとなった」[2]
- 発表後、8人の著者は全員グーグルを去り、他社に移るかスタートアップを創業した[2]