Google publica Attention Is All You Need
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
CONFIRMADOCerteza de la fecha: CONFIRMADOAnunciado como firmeCon qué firmeza la fuente expresa la fecha: confirmada, programada, estimada, retrasada o sin verificar.Ver todos los pines CONFIRMADO88% DE CONFIANZAConfianza general: 88%Hasta qué punto la fuente y las referencias del pin respaldan sus fechas.Media ponderada de la firmeza con la que 3 referencias, incluida la fuente, respaldan las horas de inicio y fin del pin; una referencia cuenta la mitad por cada 180 días que sea más antigua que la más recienteMostrar todos los pines con un 75% de confianza o másLos metadatos de arXiv[1] para 1706.03762 dan citation_date 2017/06/12, y el artículo de Wikipedia[2][3] sobre el trabajo dice lo mismo: «El 12 de junio de 2017 se publicó el modelo transformer codificador-decodificador original (de 100 millones de parámetros) en el artículo “Attention is all you need”».
Ocho investigadores de Google publican un artículo que sustituye la recurrencia y la convolución solo por autoatención. La arquitectura transformer que introduce se convierte en la base de casi todos los grandes modelos de lenguaje posteriores.