Google veröffentlicht „Attention Is All You Need“
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
BESTÄTIGT88 % SICHERHEITDie arXiv[1]-eigenen Metadaten zu 1706.03762 nennen als citation_date 2017/06/12, und der Wikipedia[2][3]-Artikel zur Arbeit sagt dasselbe: „Am 2017-06-12 wurde das ursprüngliche Encoder-Decoder-Transformer-Modell (100 Millionen Parameter) in der Arbeit ‚Attention is all you need‘ veröffentlicht.“
Acht Forschende bei Google veröffentlichen eine Arbeit, die Rekurrenz und Faltung allein durch Self-Attention ersetzt. Die darin eingeführte Transformer-Architektur wird zur Grundlage fast aller folgenden großen Sprachmodelle.