[CS224N] 6, 7, 8. RNN, LSTM, Seq2seq, Attention & Transformers

종강 후에 2023년 버전에 맞춰 새롭게 업데이트된 CS224N 강의를 수강 중이다. 확실히 요즘 강의들이 훨씬 더 최신 정보들도 많고, 그에 따라 강의의 질도 좋은 것 같다.

흘러가듯이 들었던 과거와는 다르게, 이번에는 중요한 정보들을 이해하고 다시 개념 확인차 블로그에 정리해보고 있다.

 

이번 글에서는 RNN의 도입부터 LSTM, Transformer까지 오게 된 과정과 각각의 모델들에 대해서 작성해 보았다. 위 모델에 대해서 들어만 보고 잘 알지는 못하신 분들에게 강추.

---

1. RNN

Simple RNN

지난 글에서도 작성했다시피, RNN의 핵심은 같은 가중치 W를 반복하여 사용함으로써 스스로에게 피드백을 주는 방식이다.

기본적인 구조는 아래와 같다.

---

Training RNN

그럼 이런 구조의 RNN은 보통 어떻게 training 시키는 것일까? 이 개념은 RNN을 사용하는 Language Model (RNN-LM)을 예로 들어 설명해 보자.

1. 먼저 긴 길이의 text 뭉치를 준비한다: {x1, x2, ..., xT}
2. 이 텍스트를 RNN-LM에 주고, 각 step t에 해당하는 output distribution y^(t)를 계산한다.
3. predicted probability y^(t)와 실제 단어 y(t) (=x(t+1))에 대한 Loss function을 만든다.
4. 전체 training set에 대해 이것의 평균을 구하여 최종 loss를 구한다.

간단하게 말하면, 그냥 바로 뒤 단어를 예측하는 확률을 높이는 방향으로 학습되는 것이다.

 

학습은 역전파로 이루어지는데, gradient를 얻어 parameter를 업데이트하는 것이다. 각 단계에서 loss의 gradient 값을 구하려면 어떻게 해야 할까? 이때 다음 2가지에 집중해야 한다:

1.  RNN에서는 W가 공유된다.
2. Chain Rule에 의해 최종 단계에서의 loss의 미분값은 각 단계의 미분값을 더한 것과 같다.

이 2가지를 고려하면, 미분값이 다음과 같이 계산된다.

그럼 이제 저 식은 time step t, (t-1), (t-2), ..., 0을 지나면서 gradient를 계산하면 된다. 이를 backpropagation through time 이라고 한다더라.

---

Generating text with a RNN-LM

RNN-LM에서는 Repeated Sampling이라는 방법론으로 text를 생성한다.

이는 임의의 한 step에서 생성되는 output 중 하나를 골라 다음 step의 input으로 주는 방식이다.

당연히 말만 들으면 정확도가 높다고 생각이 전혀 들지 않겠지만, 생각보다는 나쁘지 않고, 무엇보다 당시에는 n-gram보다 훨씬 일관성 있는 말을 생성해 내서 좋은 성능으로 평가받았었다.

---

RNN의 문제

이렇게 n-gram 시대에 등장한 RNN은 정말 괜찮아 보였지만, 사실상 많은 문제점이 있었다.

Vanishing & Exploding Gradients

가장 대표적이고 유명한 문제는 기울기 소실 및 증폭과 관련된 문제이다.

역전파를 chain rule을 통해서 전달할 때, 가장 마지막 layer는 layer의 수만큼 곱셈을 거치게 된다.

만약 이 곱하는 값들의 크기가 너무 작다면, 역전파가 전달될수록 값이 점점 더 작아지게 된다.

그래서 이런 gradient vanishing의 경우, 문제는 모델의 weight가 업데이트될 때, 근처에 있는 text에만 영향을 받고, 멀리 있는 text에 대해서는 영향을 거의 받지 못한다는 것이다.

 

이것과 마찬가지로, 곱해지는 값들의 크기가 너무 커지면, 역전파가 전달될수록 값이 점점 커지게 된다. 

이런 gradient explosion의 경우, bad update를 초래하고, 최악의 경우에는 너무 커져서 NaN이 되고, 계산하지 못하는 상태가 되어 학습을 처음부터 다시 시작해야 할 수도 있다.

 

Solution for gradient Explosion: Gradient Clipping

먼저 gradient explosion에 대한 해결방안으로는 gradient clipping이 있는데, 이는 만약 gradient가 어떤 threshold보다 크다면, SGD update 전에 scale down 하는 방식이다. 생각보다 간단하게 해결할 수 있었다.

 

그렇다면 gradient vanishing 문제는 어떻게 해결할 수 있을까?

이 문제에 대한 아이디어로 memory가 분리된 RNN을 사용하는 방식을 고안했다. 이렇게 생긴 모델이 LSTM이다.

---

2. LSTM

앞서 말했듯이, LSTM은 RNN의 기울기 소실 문제 해결을 위해 memory를 분리하는 방식을 적용한 모델이다. 이 문제 해결을 위해 cell state라는 개념을 도입한다.

하나의 hidden state를 가지는 RNN과 달리 LSTM은 2개, hidden state과 cell state를 가진다. 이 cell state의 특징은 다음과 같다:

• 두 벡터의 길이는 모두 n이다.
• cell은 long-term 정보를 담는다.
• LSTM은 cell로부터 해당 정보를 읽고, 지우고, 쓸 수 있다. 마치 컴퓨터의 RAM 같은 느낌이다.

이렇게 지우고, 쓰고, 읽기 위한 과정은 3개의 gate로 이루어지는데, gate의 특징은 다음과 같다.

• gate들의 길이 또한 모두 n이다.
• 각 timestep에 대해, gate는 open (1), closed (0) 이거나 in-between 상태로 있을 수 있다.
• gate들은 dynamic 하다. 그들의 값은 현재 context를 기반으로 계산된다.

아래 그림을 참고하여 3가지의 gate가 무엇을 나타내는지 보자.

1. Forget gate: 직전 cell state로부터 무슨 정보가 저장되어야 하고, 무슨 정보가 잊혀야 하는지 기억하는 gate이다.
2. Input gate: cell의 어떤 부분이 cell memory에 기록되는지 관리하는 gate이다.
3. Ouptut gate: cell의 어떤 부분이 hidden state로 옮겨져야 하는지 관리한다.

LSTM의 내부 구조는 다음 그림이 정말 잘 나타내었다.

• 가장 왼쪽에서는 forget gate를 계산하여 적당한 cell content를 잊는다.
• 중간에서는 input gate와 new cell content를 넣어 어떤 정보가 cell에 기록되는 정보를 관리한다.
• 마지막에서는 output gate를 계산하여 cell state에 있는 정보들을 hidden state로 전달한다.
• 핑크색으로 표시된 +를 통해 새로운 cell content를 작성한다.

이렇게, LSTM은 각종 gate를 활용하여 정보가 많은 timestep으로부터 보존될 수 있도록 돕는다.

---

3. NMT & Seq2Seq

이렇게 RNN, LSTM에 대한 내용을 어느 정도 마무리하고, 새로운 태스크인 Machine Translation이 소개된다.

Machine Translation이란 말 그대로 기계로 번역하는 것을 뜻한다. 예를 들어 프랑스어를 영어로 번역하려고 할 때, 데이터로부터 probabilistic model을 학습시키는 것이다.

Statistical Machine Translation (SMT)

neural machine translation (nmt)가 적용되기 전, 사람들은 확률 기반의 번역 모델을 만들고자 했는데, 이들의 행보는 아래와 같았다.

프랑스어 문장을 x, 영어 문장을 y라고 할 때, 구하려는 확률은 다음과 같다:

여기에 베이지안 법칙을 적용하면 다음과 같이 2가지 컴포넌트로 분해할 수 있다.

• 왼쪽은 학습된 data로부터 단어와 구절들이 어떻게 해석될지 학습되는 translation model,
• 오른쪽은 영어를 잘 작성하기 위해 학습되는 language model이 되는 것이다.

먼저 Translation model을 살펴보자. Translation model P(x|y)를 학습하기 위해서는 어떻게 해야 할까?

1. 먼저 정말 많은 양의 parallel data가 필요하다. (예시로, 잘 번역된 프랑스어-영어 쌍의 문장들이 있을 것이다.)
2. 두 문장 간의 정렬된 data가 필요하다. (예시로, 프랑스어의 어떤 단어가 영어의 어떤 단어를 가리키는지 등에 관한 정보가 있으면 좋다.)
   • 이러한 alignment는 일대일, 다대일, 일대다, 다대다의 모든 관계가 될 수 있다.

위와 같이 Encoding 한 이후 Decoding 과정은 다음과 같다.

이렇게 단어마다 조각이 있으며, 이 조각들을 하나씩 짜 맞춰 나감으로써 예측하게 되는 것이다.

 

이렇게 진행된 Statistical Machine Translation은 너무 복잡했고, 하위 컴포넌트들이 너무 많았으며, 많은 feature engineering이 요구되었고, 다양한 추가적인 자원들과 인간의 노력이 필요했다...

---

Neural Machine Translation (NMT)

NMT의 구조

이제 Neural Network를 도입해서 machine translation을 적용한 분야를 한번 보자. 이 아키텍처는 sequence-to-sequence 모델이라고 불리며, 2개의 RNN으로 구성돼 있다.

먼저 Seq2Seq은 위와 같은 구조를 지니고, 과정은 다음과 같다.
(다만 위 구조는 Test의 경우이고, Train 시에는 생성되는 output 단어를 다음 input으로 입력하는 것이 아닌, true data를 입력으로 준다.)

1. source sentence를 encoder RNN을 통해 encoding 한다.
   • Encoding을 통해 Decoder RNN을 위한 initial hidden state가 마지막에 주어지게 된다.
2. Decoder RNN은 encoding에 조건하여 타깃 문장을 생성한다. 즉 번역을 하는 것이다.

이처럼, Seq2Seq 모델은 Conditional Language Model의 한 예시이다.

 

Training NMT

그렇다면 Train 과정은 어떻게 이루어질까?

Training 과정은 다음을 따른다.

1. 프랑스어-영어 batch를 가져와
2. 프랑스어에 Encoder RNN을 적용하여 encoding 한 hidden state를 decoder에 적용한다.
3. decoder가 해당 hidden state를 바탕으로 예측한 단어와 실제 단어가 일치하는지를 판단한다.

 

Multi-layer RNNs

RNN의 성능을 높이는 방법으로, 여러 겹의 RNN을 적용하는 방법도 있다. 이는 multi-layer RNN이라고도 불리는데, 이것의 장점은 더욱 복잡한 표현을 계산할 수 있게 한다는 것이다. 구조는 다음과 같이, 그냥 RNN을 좀 더 쌓아 올린 형식이다.

• 퍼포먼스가 좋은 RNN은 주로 multi-layer라고 한다.
• 실제로 NMT의 경우, encoder RNN은 2~4겹, decoder RNN은 4겹이 가장 높은 성능을 보인다고 한다.
• 또한, 주로 skip-connection(residual connection)이나 dense-connection 등이 RNN을 더 깊게 train 하기 위해 필요하다고 한다.

 

Decoding 방식

1. Greedy Decoding

Decoding 시, decoder의 각 step에 argmax를 취함으로써 타깃 문장을 생성하는 방법을 보았다.

이때, 각 time step마다 확률이 가장 높은 단어를 선택하는 것을 greedy decoding이라고 한다.

본 방법의 문제점은 greedy 하게 선택해서 오류가 발생했을 경우, 돌아갈 수가 없다는 것이다.

 

2. Exhuastive search Decoding

이를 위해 Exhaustive search Decoding이라는 방법이 고안되었다.
이는 x가 주어진 경우, 나올 수 있는 모든 y의 경우를 찾자는 방식인데, 이 방법은 너무 computational resource가 많이 들었다.

 

3. Beam search Decoding

이 방법의 코어 아이디어는 decoder의 각 time step에서 k개 (beam size)의 가장 확률이 높은 translation을 찾자는 것이었다.

이 방법은 최적의 해결방안이 보장돼있지는 않지만, exhaustive search보다는 훨씬 효율적인 방식이었다.

Beam search Decoding의 예시

이렇게 함으로써, 꽤 괜찮은 Neural Machine Translation을 만들어낼 수 있었고, 이의 장점은 다음과 같았다.

• 더 나은 성능: 더 유창하고, context가 더 일관성 있었다.
• 오직 single neural network만 필요했다. 다른 subcomponents들이 필요 없었다.
• Human engineering을 적게 요구한다.

다만, 디버깅하기 어렵고, 컨트롤하기 어렵다는 단점 또한 있긴 했다.

 

Evaluation of Machine Translation

Machine Translation은 BLEU (Bilingual Evalutaion Understudy) 스코어로 평가한다.

이는 하나의 machine-written translation과 human-written translation 사이의 유사성을 비교하는데, 이 유사성은 다음을 기반으로 한다.

• n-gram precision
• 너무 짧은 system translation에 대한 penalty

BLEU 스코어는 용이하지만 완벽하지 못하다는 단점이 있다. 같은 의미를 담은 문장이더라도, 충분히 다른 용어를 사용하여 다르게 해석될 수 있기 때문이다. 이 때문에 잘 번역된 문장도 낮은 스코어를 받는 현상 또한 발생하기도 했다.

---

4. Attention

Problem of Seq2Seq Model: Bottleneck problem

Neural Machine Translation 태스크를 위해 만들어진 Seq2Seq 모델도 문제점이 있었는데, 이는 Bottleneck problem, 병목 현상이었다. 쉽게 말하면, Encoder RNN의 마지막 hidden state에서 모든 정보를 포함해야 한다는 문제였다.

 

이를 해결하기 위해, 인간이 번역을 시도하는 경우를 생각해 보자.

인간은 번역을 할 때, 문장의 한 문맥을 보고 번역하고, 이후 문맥을 보고 번역하고,, 이 활동을 반복한다.

또 문맥을 보면서 더 주의 깊게 봐야 할 것을 인지하고 그것에 초점을 맞추어 번역한다.

 

이 아이디어에 착안하여, decoder의 각 단계에서 encoder와의 직접적인 connection을 통해 특정 부분에 집중하도록 만든 아키텍처가 Attention이다.

---

Seq2seq with Attention

Seq2seq 모델에 Attention을 결합한 구조를 먼저 살펴보자. 앞서 말했듯이, Attention은 어디에 주의를 줄 것인가를 고려하여 만든 아키텍처이다.

1. 먼저 파란색으로 Attention Scores라고 돼있는 부분은, 각 위치에서의 encoder hidden state와 decoder의 hidden state를 가지고 attention score를 계산한 것이다. 계산은 주로 dot product, 내적을 사용한다.
   • 이렇게 각 decoder의 timestep에 attention distribution을 보면, 어떤 hidden state에 얼마만큼의 attention을 주는지에 대해 알 수 있다.
2. 만들어진 Attention Distribution을 가지고, encoder hidden state에 대한 weighted sum을 적용하여 attention output을 만든다. 위 과정을 거치면, 최종 attention output은 주로 high attention을 가진, hidden state로부터 파생된 정보를 가지고 있다.

이후에는 전의 Seq2seq 모델에서 했던 비슷한 과정들을 쭉 반복하는데, decoder hidden state에 attention output을 concatenate 하고, 계산하여 y^을 구한다.

---

Problem of RNN: Linear interaction distance

RNN은 주로 왼쪽에서 오른쪽으로 가는데, 이는 가까이 있는 단어가 서로의 의미에 영향을 준다.

이에, RNN은 sequence 길이만큼의 시간 복잡도가 걸린다.

이는 다시 말하면 GPU의 장점을 완전히 무시해 버리는 것이 된다. 그 이유는 RNN의 경우, 종속적으로 전의 단어를 예측해야 다음 단어를 예측할 수 있는 현상이 반복되기 때문이다. GPU의 이점을 챙기려면 모든 단어들이 독립적으로 예측될 수 있는 구조를 가지고 있어야 한다.

 

Attention은 모든 단어들의 표현을 query로 취급하여 접근하고 value 집단의 정보를 포함한다. Attention을 사용함으로써 이런 병렬적인 처리가 가능해져 시간 복잡도가 sequence 길이에 영향을 받지 않게 된 것이다.

---

이런 Attention의 구조는 마치 lookup table과 같다. 

• Attention에서는 query와 key들과의 유사성을 계산해서 softmax로 영향력 (=weight)를 나타내고, value에 해당 weight를 곱하여 sum 값을 구한다. 그것이 곧 output이 된다.

Self-Attention

Self-Attention은 keys, queries, values를 같은 sequence로부터 뽑아내는 것이다. 

vocabulary V에 있는 단어들의 sequence를 w_{1:n}이라고 하자. 

각 wi에 대해 x_i = E * w_i라고 하자. E는 embedding matrix이고, 차원은 d x |V|이다.

Self-Attention이 이루어지는 과정은 다음과 같다.

1. dxd 차원의 weight matrix인 Q, K, V를 가지고 word embedding을 transform 한다.
   • q_i = Q * x_i (Queries)
   • k_i = K * x_i (Keys)
   • v_i = V * x_i (Values)
2. keys와 queries에 대한 유사성을 계산하고, softmax로 normalize 한다.
3. 최종적으로, weighted sum of values를 계산하여, 각 단어에 대한 최종 output을 계산한다.

• e_ij는 i가 j를 찾기 위해 얼마나 많이 lookup 해야 하는지를 나타내는 score,
• alpha_ij는 정규화된 숫자이다.

---

이런 Attention 메커니즘에도 당연히 문제는 있었다. 

Attention의 문제와 해결방안

1. Doesn't have inherent notion of order -> Positional Encoding

Attention의 첫 번째 문제는 내재된 순서가 없다는 것이었다. 위와 같은 단순한 Attention 메커니즘만을 사용하면, 

'Zuko made his uncle a breakfast'와 'His uncle made Zuko a breakfast'는 같은 의미로 인코딩 된다.

 

그간 RNN은 순차적으로 입력되어 이런 순서에 굳이 신경 쓰지 않아도 됐지만, Attention의 경우, 순서 정보가 반드시 필요했다.

이에 문장의 순서도 함께 encoding 하는 작업을 생각했다. 즉, index 또한 vector로 취급하는 것이다.

 

Attention에서는 position vector p_i를 embedding 된 단어 x_i에 더하여 새롭게 임베딩된 단어를 만들었다.

 

그렇다면 이 p_i를 어떻게 표현할 수 있을까. 대표적으로 2가지 방법이 있다.

1. Sinusoidal position representations

이 방식은 변화하는 시점에 대해 sinusoidal function을 도입한 것인데, 사인과 코사인 함수의 주기를 사용하여 각 위치에 대한 고유한 값을 생한다. 그리고 이렇게 만들어진 주기적인 패턴은 모델이 입력 시퀀스에서 각 단어의 위치를 인식하는 데 도움을 준다.

이를 시각적으로 보면 다음과 같다.

• 장점
  • 단어의 절대적인 위치의 중요성을 낮출 수 있다.
  • 더 긴 sequence를 추정할 수 있다.
• 단점
  • 학습이 불가능하다

 

2. Learned absolute position representations

이 방식은 position을 나타내는 matrix인 p_i까지 파라미터화 시키는 것이다. 이 파라미터를 x_i에 더하여 사용한다.

• 장점
  • 유연성: 각 position은 data를 fit 하기 위해 학습될 수 있다.
• 단점
  • 사전에 정의한 단어의 개수를 넘어가는 index를 추정하지 못한다. 즉 n보다 긴 input을 받아들일 수 없게 된다. 이는 실제적으로도 문제가 되는 부분이고, computational 비용이 n제곱에 비례해서 증가하기 때문에, 쉽지 않다.

2. No nonlinearitites for deep learning, it's just weighted averages -> Adding Nonlinearities

앞서 정의한 Attention과 같은 방법은 딥러닝의 방식을 사용하는 것이 아닌, 그냥 내적을 계산하고 softmax를 적용하는 것뿐이다. 

이를 해결하기 위해 Feef-forward network를 더한다. 

3. Need to ensure not to look at the future -> Masking

Machine translation 등의 task를 수행하기 위해서, 적어도 decoder 만큼은 당연히 단방향, 왼쪽에서 오른쪽으로 이루어져야 한다. 

이를 위해, 내 시점 이후의 단어들에 대해서는 정보를 보지 못하도록 masking을 수행한다.

이렇게 함으로써, 미래의 정보를 보지 않고 더 효과적으로 학습할 수 있다. (사실 미래의 정보를 볼 수 있으면 그걸 학습이라고 말할 수도 없다)

 

위의 문제점들을 모두 해결하여 만든 Attention 아키텍처는 다음과 같다.

여기서 block으로 표시된 Masked Self-Attention과 FFN은 한 쌍으로 간주되며, 몇 개의 block이 반복되기도 한다.

---

5. Transformer

Attention을 기반으로, 현재 NLP 세계의 뿌리로 자리 잡은 Transformer model을 만들었다.

Transformer는 Encoder와 Decoder로 이루어져 있는데, Decoder의 구조를 먼저 살펴보자.

Decoder

우선 decoder는 language model과 같은 system을 만드는 방식인데, 앞서 설명한 attention과 거의 유사하고,

self-attention이 multi-head attention으로만 바뀌었다는 것이 가장 큰 변화 포인트 중 하나이다.

 

1. Multi-head Attention

Self-Attention에 관해서 생각해 보면, 아래의 'learned'에 대한 attention 가중치를 한 번으로만 표현한다.

이와 다르게 multi-head attention은 다양한 attention을 통해 어떤 attention에서는 entitiy 관련한 attention을 계산하도록, 또 어떤 attention에서는 syntactic 한 정보를 계산하도록 한다.

 

기본 attention에서의 이론은 query와 key 사이의 유사성을 기반으로 attention score를 계산하고, 해당 score에 softmax를 적용하여 가중치로 만들어, value에 곱하는 것이었다. 그림으로 표현하면 다음과 같다.

Multi-headed attention은 이와 거의 비슷한데, 다양한 표현을 학습하기 위해 위에서 사용한 matrix들을 분할하여 계산한다. 여기서 분할이란, 더 낮은 차원으로 내리는 것을 의미한다. 그래서 이 과정을 시각적으로 표현하면 다음과 같다:

 

2. Scaled Dot Product 

두 번째로 Transformer에서 나타난 변화는 scaled dot product이다.

위에서 계산할 때 만약 dimentionality d가 커지게 되면, vector 사이의 내적이 커져 softmax를 크게 만들 수 있다. Softmax가 커지면 gradient가 작아지기 때문에, 이를 방지하기 위해 원래 식인

이 식을

이와 같이 변화시켰다. 

(d/h)^1/2로 나눠줌으로써 스코어가 너무 커지는 현상을 막은 것이다.

 

3. Optimization Tricks: Residual Connection & Layer Normalization

Residual Connection은 gradient vanishing 현상을 막기 위한 방법으로, 위에 RNN을 설명할 때 함께 설명했다.

 

Layer Normalization은 정규화를 하는 방식인데, 식은 다음과 같다:

 

Final Architecture

최종 아키텍처는 다음과 같다:

block에 decoder라고 작성돼 있어야 하는데, 오탈자가 있다..

Attention 구조와 거의 비슷한데, block에 Masked Multi-head Attention이 적용된 것과 Add&Norm이 2번 적용됐다는 것이 가장 큰 변화이다.

---

Encoder

Encoder의 구조도 거의 비슷하지만, language modeling을 위해 unidirectional context를 사용해야 하는 decoder와는 다르게 encoder에서는 bidirectional context, 즉 양방향성을 위해 masking을 제거한다.

---

Overall & Cross Attention

최종적인 Transformer 구조는 다음과 같다:

여기서 또 살펴볼 점은 Encoder의 output이 decoder의 masked multi head attention의 inputd으로 들어가는 cross-attention이 있다는 것이다. 이때 Keys와 Values는 Encoder로부터, Queries는 Decoder로부터 온다는 것이 큰 특징이다.

---

Drawbacks

Transformer 모델의 단점으로는 다음 사항들이 있다고 한다.

1. Quadratic compute in self-attention
2. Position representation의 부정확성

---

마무리

꽤나 길게 RNN부터 Transformer까지 정리해 왔다.

문제 -> 해결방식의 스타일로 깊은 수식은 건드리지 않고 정리한 탓에 deep 하지는 않지만, 모델의 흐름 및 역사를 처음 접하는 사람들이 보기에는 충분히 깊은 내용이 될 것 같다.