谷歌发表《Attention Is All You Need》
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
已确认日期确定性: 已确认已公布为确定日期来源对日期的表述有多确定:已确认、已排期、预估、已推迟或未核实。显示所有“已确认”的图钉可信度 88%总体可信度: 88%该图钉的来源和参考资料对其日期的支持程度。包括来源在内的 3 份资料对图钉开始和结束时间支持程度的加权平均;资料每比最新的一份旧 180 天,权重减半显示所有可信度不低于 75% 的图钉arXiv[1] 上 1706.03762 的元数据给出 citation_date 为 2017/06/12,维基百科关于该论文的条目也如此记载:“2017-06-12,最初的(1 亿参数)编码器—解码器 Transformer 模型在《Attention is all you need》论文中发表。”
谷歌的八位研究人员发布了一篇论文,完全用自注意力取代循环和卷积结构。论文提出的 Transformer 架构成为此后几乎所有大语言模型的基础。