Google publica Attention Is All You Need
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
CONFIRMADO88% DE CONFIANZALos metadatos de arXiv[1] para 1706.03762 dan citation_date 2017/06/12, y el artículo de Wikipedia[2][3] sobre el trabajo dice lo mismo: «El 12 de junio de 2017 se publicó el modelo transformer codificador-decodificador original (de 100 millones de parámetros) en el artículo “Attention is all you need”».
Ocho investigadores de Google publican un artículo que sustituye la recurrencia y la convolución solo por autoatención. La arquitectura transformer que introduce se convierte en la base de casi todos los grandes modelos de lenguaje posteriores.