어텐션 메커니즘 구현하기
긴 시퀀스 모델링의 문제점어텐션 메커니즘이 개발된 배경은 기존 모델의 한계를 극복하기 위함입니다.RNN 기반 인코더-디코더의 구조: 기존 인코더-디코더 기반 모델은 RNN(Recurrent Neural Network) 층을 사용하여 구현되었습니다. 이 구조에서는 입력 문장(예: 독일어)이 순서대로 들어오면, 마지막 토큰을 처리한 결과인 은닉 상태(Hidden State) 또는 문맥 벡터만을 디코더에게 전달합니다.정보 압축 문제 (길이 압축): 텍스트가 길어질수록 (예: 100개 토큰), 그 모든 의미를 단 하나의 은닉 상태로 압축하여 디코더가 이를 잘 해석하고 번역을 수행하기는 어렵습니다.단어 의존성 문제: 또한, 텍스트에 나오는 순서대로 단어별로 번역하는 방식은 언어마다 어순이 다르고 단어 맵핑이 1:..
Developer/IT 도서
2026. 1. 3. 14:07
