구글, 〈어텐션만으로 충분하다〉 발표
Googleplex, 1600, Amphitheatre Parkway, Mountain View, Santa Clara County, California, 94043, United States
Google
확정날짜 확실성: 확정확정으로 발표됨출처가 날짜를 얼마나 확정적으로 표현하는지: 확정, 예정, 추정, 연기, 미확인.“확정” 핀 모두 보기신뢰도 88%종합 신뢰도: 88%핀의 출처와 참고 자료가 날짜를 얼마나 뒷받침하는지.출처를 포함한 자료 3건이 핀의 시작·종료 시각을 얼마나 강하게 뒷받침하는지에 대한 가중 평균. 자료는 최신 자료보다 180일 오래될 때마다 가중치가 절반이 됩니다신뢰도 75% 이상 핀 모두 보기아카이브 자체의 1706.03762 메타데이터는 인용 날짜를 2017/06/12로 기록하고 있으며, 위키피디아의 해당 논문 항목도 같은 내용을 밝히고 있다: “2017년 6월 12일, 원조 인코더-디코더 트랜스포머 모델(파라미터 1억 개)이 ‘어텐션만으로 충분하다’ 논문에 발표됐다.”[1]
구글의 연구자 8명이 순환구조와 합성곱 대신 셀프어텐션만으로 대체한 논문을 게시한다. 이 논문이 소개하는 트랜스포머 구조는 이후 등장하는 거의 모든 대형언어모델의 기초가 된다.
1.00