NLP 분야의 근본 논문 Attention Is All You Need를 리뷰해 보았습니당🧮 논문 출처: https://arxiv.org/pdf/1706.03762 ✅ Attention이란?우선 논문 리뷰에 앞서,, Attention이란 간단하게 말해서 모든 기억을 동등하게 집중해서 기억하도록 구조화하는 기법입니다. 기존의 RNN(Recurrent Neural Networks)이나 LSTM(Long Short-Term Memory) 같은 순환 신경망 모델들은 입력 시퀀스를 순차적으로 처리하여 고정된 크기의 벡터로 인코딩한 후, 이를 디코더가 다시 출력 시퀀스로 변환합니다. 이 과정에서 중요한 정보가 손실되거나, 긴 시퀀스의 경우 앞부분의 정보가 희석되는 문제가 발생할 수 있습니다. 어텐션 메커니즘은 이..
