- 시작
- 2017년 6월 12일신뢰도 90%출처 제공
구글, 〈어텐션만으로 충분하다〉 발표
원문에서 자동 번역됨
원본 제목: Google Publishes Attention Is All You Need
- 〈어텐션만으로 충분하다〉는 구글 소속 과학자·엔지니어 8명(바스와니, 셰이저, 파르마르, 우스코라이트, 존스, 고메즈, 카이저, 폴로수킨)에 의해 2017년 6월 12일 아카이브에 게시됐다.[1][2]
- 초록은 이렇게 시작한다: “주류 시퀀스 변환 모델들은 인코더-디코더 구성의 복잡한 순환 또는 합성곱 신경망에 기반을 두고 있다.” 이 논문이 내놓은 답은 어텐션만을 사용하는 것이었다.[1]
- 원조 인코더-디코더 트랜스포머는 파라미터 1억 개 규모였다. 당시 초점은 시퀀스-투-시퀀스 기법을 개선하는 데 있었으며, 2014년 바다나우 등이 제안한 어텐션 메커니즘을 바탕으로 했다.[2]
- 이 구조는 “대형언어모델을 포함한 다양한 인공지능 시스템의 주된 아키텍처가 됐다”.[2]
- 논문 발표 이후 여덟 명의 저자 모두 구글을 떠나 다른 회사에 합류하거나 스타트업을 창업했다.[2]
참고자료 3신뢰도 88%종합 신뢰도: 88%핀의 출처와 참고 자료가 날짜를 얼마나 뒷받침하는지.출처를 포함한 자료 3건이 핀의 시작·종료 시각을 얼마나 강하게 뒷받침하는지에 대한 가중 평균. 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다신뢰도 75% 이상 핀 모두 보기
첫 번째 항목은 항상 핀의 출처입니다. 전체 신뢰도는 각 자료가 위의 시작·종료 시각을 얼마나 확실히 뒷받침하는지에 대한 가중 평균이며, 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다.
- [1]90%arxiv.org/abs/1706.03762arxiv.org· 게시 2026년 9월 22일· 시작 2017년 6월 12일 ✓· 점수의 33%
아카이브 자체의 1706.03762 메타데이터는 인용 날짜를 2017/06/12로 기록하고 있으며, 위키피디아의 해당 논문 항목도 같은 내용을 밝히고 있다: “2017년 6월 12일, 원조 인코더-디코더 트랜스포머 모델(파라미터 1억 개)이 ‘어텐션만으로 충분하다’ 논문에 발표됐다.”
- [2]90%Attention Is All You Needen.wikipedia.org· 추가 2026년 9월 22일· 점수의 33%
Dates the paper to 12 June 2017 and describes what it did: "a 2017 research paper on machine learning authored by eight scientists and engineers working at Google" introducing the transformer, "based on the attention mechanism proposed in 2014 by Bahdanau et al.", which "has become the main architecture of a wide variety of artificial intelligence systems, including large language models". It also records that all eight authors later left Google.[1]
- [3]85%Transformer (deep learning architecture)en.wikipedia.org· 추가 2026년 9월 22일· 점수의 33%
The architecture itself, for how self-attention replaced recurrence and what was built on it afterwards.[1]
수정 제안
빠지거나 잘못된 점이 있나요? 이 핀을 뒷받침하는 링크, 다른 시작일이나 종료일과 그 이유, 빠지거나 잘못된 사실을 자신의 말로 알려주세요. AI가 이 핀의 출처와 대조하고 더 나은 자료를 찾아, 뒷받침하는 페이지를 추가합니다. 핀 자체의 출처가 여전히 가장 중요하게 반영됩니다. AI는 이미지도 확인합니다. 다른 것을 보여주거나 제대로 보여주지 못하는 이미지는 뒤로 옮기거나 교체합니다.
