Google veröffentlicht „Attention Is All You Need“
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
BESTÄTIGTTerminsicherheit: BESTÄTIGTAls fest angegebenWie fest die Quelle den Termin formuliert: bestätigt, geplant, geschätzt, verschoben oder unbestätigt.Alle Pins mit BESTÄTIGT anzeigen88 % SICHERHEITGesamtvertrauen: 88%Wie gut die Quelle und die Belege des Pins seine Termine stützen.Gewichteter Durchschnitt, wie fest 3 Belege einschließlich der Quelle die Start- und Endzeiten des Pins stützen; ein Beleg zählt für je 180 Tage, die er älter ist als der neueste, nur halb so vielAlle Pins mit mindestens 75 % Sicherheit anzeigenDie arXiv[1]-eigenen Metadaten zu 1706.03762 nennen als citation_date 2017/06/12, und der Wikipedia[2][3]-Artikel zur Arbeit sagt dasselbe: „Am 2017-06-12 wurde das ursprüngliche Encoder-Decoder-Transformer-Modell (100 Millionen Parameter) in der Arbeit ‚Attention is all you need‘ veröffentlicht.“
Acht Forschende bei Google veröffentlichen eine Arbeit, die Rekurrenz und Faltung allein durch Self-Attention ersetzt. Die darin eingeführte Transformer-Architektur wird zur Grundlage fast aller folgenden großen Sprachmodelle.