- Начало
- 12 июн. 2017 г.ДОСТОВЕРНОСТЬ 90%от источник
Google публикует «Внимание - это всё, что вам нужно»
Автоматический перевод оригинала
Оригинальное название: Google Publishes Attention Is All You Need
- «Внимание - это всё, что вам нужно» (Attention Is All You Need) было размещено на arXiv 12 июня 2017 г. восемью учёными и инженерами Google: Васвани, Шазир, Пармар, Ушкорейт, Джонс, Гомес, Кайзер и Полосухин[1][2]
- Аннотация начинается так: «Доминирующие модели преобразования последовательностей основаны на сложных рекуррентных или свёрточных нейронных сетях в конфигурации кодировщик-декодировщик». Ответом работы стало одно лишь внимание[1]
- Исходный трансформер «кодировщик-декодировщик» имел 100M параметров; в то время основное внимание уделялось улучшению методов Seq2seq на основе механизма внимания, предложенного Бахданау и соавторами в 2014 году[2]
- Эта архитектура «стала основной архитектурой самых разных систем искусственного интеллекта, включая большие языковые модели»[2]
- После публикации каждый из восьми авторов покинул Google, чтобы перейти в другие компании или основать стартапы[2]
Источники 3ДОСТОВЕРНОСТЬ 88%Общая достоверность: 88%Насколько источник и ссылки пина подтверждают его даты.Взвешенное среднее того, насколько 3 источника, включая основной, подтверждают время начала и окончания пина; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новымПоказать все пины с достоверностью 75% и выше
Первая запись — всегда источник пина. Общая достоверность — это взвешенное среднее того, насколько каждый источник подтверждает указанные выше время начала и окончания; вес источника уменьшается вдвое за каждые 180 дней разницы с самым новым.
- [1]90%arxiv.org/abs/1706.03762arxiv.org· Размещено 22 сент. 2026 г.· Начало 12 июн. 2017 г. ✓· 33% оценки
Метаданные arXiv для 1706.03762 указывают citation_date 2017/06/12, и статья Wikipedia[2][3] об этой работе говорит то же самое: «12.06.2017 была опубликована исходная модель трансформера кодировщик-декодировщик (со 100M параметров) в статье “Attention is all you need”».
- [2]90%Attention Is All You Needen.wikipedia.org· Добавлено 22 сент. 2026 г.· 33% оценки
Dates the paper to 12 June 2017 and describes what it did: "a 2017 research paper on machine learning authored by eight scientists and engineers working at Google" introducing the transformer, "based on the attention mechanism proposed in 2014 by Bahdanau et al.", which "has become the main architecture of a wide variety of artificial intelligence systems, including large language models". It also records that all eight authors later left Google.[1]
- [3]85%Transformer (deep learning architecture)en.wikipedia.org· Добавлено 22 сент. 2026 г.· 33% оценки
The architecture itself, for how self-attention replaced recurrence and what was built on it afterwards.[1]
Предложить исправление
Чего-то не хватает или есть ошибка? Напишите своими словами: ссылку, подтверждающую этот пин, другую дату начала или окончания и почему, или факт, которого нет или который неверен. ИИ сверит это с источниками пина, поищет лучшие и добавит любую страницу, которая вас подтверждает. Собственные источники пина всё равно весят больше всего. Изображение, на котором показано что-то другое или показано плохо, тоже проверяется и опускается ниже или заменяется.
