[CS224N] 5. Language Models and Recurrent Neural Networks

저번 글에서는 dependency parser의 역사와 neural net을 이용해 dependency parser를 구축하는 방법, 그리고 neural net의 regularization에 대해 간단히 다루었다.

이번 글에서는 Language Modeling에 대해 간단히 다뤄본 후, RNN의 기초에 대해 설명한다.

---

1. Language Modeling

Language Modeling이란, 어떤 단어가 다음에 나올지 예측하는 태스크를 뜻한다. 즉, context에 대해 단어가 주어지면 다음 단어를 예측하는 것이다.

이걸 좀 수식을 곁들여 말해보면, 다음과 같다: 단어 x1, x2, .., xt에 대해 x(t+1)의 확률 분포를 계산하는 것이다.

확률로 표현하면 다음과 같다:

Language Modeling을 위해 고안된 방법들은 다음과 같다:

1. N-gram Language Models

먼저 n-gram이란, n개의 연속된 단어 덩어리를 뜻한다. n-gram의 종류로는 unigram, bigram, trigram, 4-grams 등이 있다.

N-gram을 활용한 language model의 아이디어는 다양한 문장들에 n-gram에 대한 통계를 구하고, 해당 통계를 다음 단어를 구하기 위해 사용하는 것이다.

Markov assumption

먼저, Markov assumption이란 단어 x(t+1)의 예측은 직전 (n-1) 개의 단어에만 의존한다는 가정이다.

이 가정에 의하면 P(x(t+1) | x(t), x(t-1),..., x(1))은 다음과 같다:

그리고 조건부 확률을 통해 단어의 예측 확률을 구할 수 있는데, 위에서 나타내는 n-gram과 (n-1)-gram 확률은 어떻게 구할까 ?

그건 바로 큰 text에서 해당 n-gram이 얼마나 나오는지 직접 세어보는 방식이다. 

 

예시로 다음 4-gram language model을 보자.

예시 문장 "students opened their ___"에서 빈칸에 들어갈 단어에 대한 예측 과정은 다음과 같다:

1. 4-gram이므로 빈칸을 포함해서 앞의 4 단어만 남겨두고 나머지 단어는 모두 제외시킨다.
2. 보유한 context에서 "students opened their"이 나온 횟수를 구한다.
3. 그중, "students opened their" 다음에 나온 단어가 각각 몇 회가 나왔는지 구한다.
   (위 예시에서는 "books"가 400번, "exams"가 100번이다.)
4. 해당 단어들에 대한 확률 분포를 구한다.

하지만 이런 방법에도 분명 문제가 있다.

Problems

1. 먼저 첫 번째 문제는 Sparsity Problem이다. 위에서 확률을 구할 때 사용된 지표들을 잘 보자.
   • 먼저 분자가 0이 될 가능성이 있다. 이는 "students opened their w"가 나의 context data에 한 번도 나오지 않은 경우를 뜻한다. 
     이에 대한 해결방안으로, 모든 단어 w에 대해 delta를 더해서 0이 되지 않도록 하는 방법이 있다. 이 방법을 smoothing이라고 한다.
   • 분모가 0이 될 가능성도 있다. 이는 "students opened their"이라는 맥락이 한 번도 일어나지 않은 경우를 뜻한다.
     이에 대한 해결방안으로 위의 연속된 3-gram을 "opened their"처럼 context를 shorten 시키는 방식이 있다. 이를 backoff라고 한다. 
2. 두 번째 문제는 모델이 너무 크다는 문제이다. n-gram을 사용하면, 내가 본 말뭉치 내에 모든 n-gram count을 모두 저장해야 한다. 즉, 확률을 저장하기 위한 엄청나게 큰 table이 필요한 것이다. 이는 사실상 n-gram 내에서는 해결하기 어려운 문제이다.

N-gram language models in practice

그럼 이 n-gram 모델들이 실제로 어떻게 사용됐는지에 대해 한번 알아보자.

예를 들어, 170만 개의 단어 뭉치 데이터가 있다고 가정하고, "today the ___" 이 문장에 대해 빈칸에 들어갈 단어 및 문장을 생성하려고 한다고 가정하자.

그리고 하나씩 random 하게 sampling 한다고 하자. 그럼 과정은 다음과 같다:

이 모든 것이 반복적으로 진행되면, 다음과 같은 문장이 만들어진다:

생성된 문장을 봤을 때, 문법적으로 굉장히 우수한 문장임을 알 수 있다. 그러나, 내용은 정말 말도 안 되기 때문에, 내용의 우수성을 위해 훨씬 더 나은 model이 필요하다.

2. Neural Language Models

그래서 나온 모델이 neural language model이다. 여기서는 간단한 fixed-window classifier를 먼저 살펴보고, RNN을 더 깊게 다뤄볼 예정이다.

그럼 어떻게 neural language model을 만들 수 있을까?

먼저, NER에서 봤던 것처럼 window 원리를 먼저 이용한다.

NER에서 봤던 그림

과정은 다음과 같다:

1. n-gram과 같이 앞의 단어들을 제거하고 window를 조정한다. 
2. input으로 들어가는 단어들을 one-hot vector로 나타내고, word embedding을 이용해 단어 벡터들을 concatenate 한다.
3. 해당 벡터를 hidden layer에 통과시키고
4. 최종 layer에 softmax classifier를 붙여 결과로 최종 단어를 예측한다.

이렇게 결과로 books나 laptops 같은 단어들이 예측된다. 

이 classifier의 장단점은 다음과 같다:

 

장점

• n-gram과 같이 sparsity problem이 존재하지 않는다. 왜냐하면 word embedding을 사용함으로써 의미상 유사한 단어가 비슷한 distribution을 만들기 때문이다. 예를 들어, 위 예시에서 "students"를 "people"로 바꾸면 n-gram에서는 context를 바꿔서 찾는 반면, neural lm에서는 people와 students를 비슷하게 생각한다.
• storing 문제가 해결된다. Neural LM을 사용하면 단어 벡터, 가중치와 새 행렬만 storing 하면 되고, 굳이 모든 단어에 대한 확률을 저장하지 않아도 된다. 

문제점

• window는 고정돼 있고, 너무 작다. 그러나 이 window를 늘리면 W를 크게 만들고, 그것은 각 단어에 다른 가중치가 곱해진다는 점에서 큰 혼란을 가져온다.

이런 문제점을 해결하기 위해서는 어떤 길이의 input이라도 감당할 수 있는 새로운 neural architecture가 필요한데, 이를 위해 나온 것이 RNN이다.

---

2. Recurrent Neural Networks (RNN)

(본 강의에서는 먼저 simple RNN에 대해 설명한다.)

RNN의 core idea는 같은 가중치 W를 반복해서 적용하는 것이다.

classifier의 hidden layer가 있는 대신, hidden state를 유지하고 자기 자신에게 feed back 하는 것이다. 스스로 feed back 하는 것을 recurrent 하다고 말한다. 계산 과정을 그림으로 살펴보자.

과정을 글로 설명하자면 다음과 같다:

1. input 단어들을 one-hot vector로 바꾸고 word embedding을 적용해서 단어를 vector로 표현한다.
2. 다음 공식을 사용해서 hidden state를 계산한다: h(t) = tanh(W_h * h(t-1) + W_e * e(t) + b1) 
   • h(0)은 보통 모두 0으로 initialize 한다.
   • W_e는 Input embedding에 곱하는 용도,
   • W_h는 네트워크의 hidden state를 update 하는 용도로 사용된다.
3. output distribution을 구하기 위해서 다음 softmax 식을 사용한다: y^(t) = softmax(U*h(t) + b2)
   • 위 식을 이용해서 어떤 위치에서든 hidden state를 이용해서 다음 단어에 대한 확률 분포를 얻게 된다.

그렇다면 RNN의 장단점을 살펴보자.

장점

• 어떤 길이의 input이든지 항상 생성할 수 있다.
• 더 긴 input context가 생긴다고 model size가 커지지 않는다. 오직 W_h, W_e만 사용한다.
• 이렇게 하나의 weight를 사용함으로써 대칭성이 있다.

단점

• 느리다. for 루프 안에서 계산되므로 O(n)의 시간 복잡도를 가진다.
• 이론상으로는 단어 예측을 위해 훨씬 전의 단어 정보를 참고할 수 있다고는 하지만, 실제로는 참고하지 못한다.

---

이렇게 language model부터 simple RNN까지 알아보았다. 다음 글에서는 fancy RNN과 LSTM에 대해 알아볼 예정이다.