[Word2Vec에 관하여] - CBOW, Skip-gram

지난 CS224N 강의를 수강하고, Word2Vec에 관해 조금 더 개념을 확립하고자 공부하게 되었다.

이번 블로그는 위키독스 를 참고하여 만들었다.

---

Word2Vec

word2vec은 word vector들의 학습을 위해 만들어진 프레임워크이다.

해당 프레임워크의 핵심은 text를 컴퓨터가 인식할 수 있도록 숫자 형태의 vector 또는 행렬로 변환하는 것이다.

 

이는 대부분 대표적으로 다음 두 가지 과정으로 이루어진다:

• One Hot Encoding (Sparse representation)
• Word Embedding (Dense representation)

One Hot Encoding은 단어 벡터가 0 또는 1의 값으로 구성되어 과정이 단순하다는 장점이 있지만,

큰 차원이 필요하다는 점과, 단어 관계 (유사성)을 파악하기 어렵다는 치명적인 단점이 있었다.

이를 보완하는 방법으로 Distributional Semantics 기반의 Word Embedding이 등장하게 되었고, 현대의 대부분의 자연어 처리 기법들은 (ex. Word2vec, GloVe, FastText…) Word Embedding 방식을 기반으로 발전하였다.

위 그림은 word2vec 프레임워크의 원리를 가장 잘 보여주는 그림이다.

여기서 word2vec은 비슷한 단어들을 비슷한 위치의 공간에 놓는 방식으로 objective 함수를 최대화시킨다. 해당 아이디어를 이용하여 중심 단어를 기준으로 양쪽으로 윈도우 크기만큼의 단어를 맥락 단어로 설정한다. 그리고 원-핫 인코딩을 이용해 중심 단어 벡터와 맥락 단어 벡터를 생성한 후, 이를 입력 벡터와 출력 벡터로 사용한다. 맥락 벡터는 기본적으로 윈도우 개수의 2배만큼 생성된다.
이때맥락 벡터가 입력, 중심 벡터가 출력인 경우를 CBOW 방식, 그리고 중심 벡터가 입력, 맥락 벡터가 출력인 경우를 Skip-gram 방식이라고 한다.

두 알고리즘을 아래와 같은 한 그림으로 보면 확연한 차이를 알 수 있다.

출처: https://simonezz.tistory.com/35

 

1. CBOW (Continuous Bag of Word)

앞에서 설명했다시피, 맥락 벡터가 입력, 중심 벡터가 출력인 경우를 CBOW 알고리즘이라고 한다.

이는 맥락 단어들로 중심 단어를 예측할 때 사용되는데, 다음 문장을 예를 들어보자.

'The fat cat sat on the mat'

CBOW를 이용하면 다음과 같이 빈칸에 어떤 단어가 들어갈지 예측하는 task를 수행할 수 있다.

'The fat cat __ on the mat'

그렇다면 어떻게 예측이 이루어지는 것일까 ?

 

1. one-hot encoding의 사용

우선, 중심 단어를 예측하기 위해서 이를 기준으로 얼마만큼의 문맥 단어를 살펴볼 것인지 결정해야 한다. 이를 window라고 한다. 예를 들어 window 크기가 2이고, 예측하고자 하는 중심 단어가 sat이라고 한다면 앞의 두 단어인 fat와 cat, 그리고 뒤의 두 단어인 on, the를 입력으로 사용한다.

윈도우 크기가 n이라고 한다면, 실제 중심 단어를 예측하기 위해 참고하려고 하는 주변 단어의 개수는 2n이다. (양옆)

 

이후, 처음 문장을 바탕으로 one-hot encoding을 수행하면 결과는 다음과 같다:

출처: https://wikidocs.net/22660

 

2. CBOW의 구조

그렇다면 CBOW의 구조를 다시 살펴보자.

Input layer 에는 앞, 뒤로 사용자가 정한 윈도우 크기 범위 안에 있는 주변 단어들의 one-hot vector가 input으로 사용되고, Output layer에서는 예측하고자 하는 중간 단어의 one-hot vector가 레이블로서 필요하다.

위 구조를 조금 더 확대해서 보자.

이 그림에서 주목해야 할 것은 두 가지이다.

1. 하나는 투사층 (Projection layer)의 크기가 M이라는 점이다. CBOW에서 투사층의 크기 M은 임베딩하고 난 벡터의 차원이 된다. 위의 그림에서 투사층의 크기는 M=5이므로 CBOW를 수행하고 나서 얻는 각 단어의 임베딩 벡터의 차원은 5가 될 것이다.
2. 두 번째는 입력층과 투사층 사이의 가중치 W는 V × M 행렬이며, 투사층에서 출력층사이의 가중치 W'는 M × V 행렬이라는 점이다.
   여기서 V는 단어 집합의 크기를 의미한다 (단어 집합의 길이). 즉, 위의 그림처럼 one-hot vector의 차원이 7이고, M은 5라면 가중치 W는 7 × 5 행렬이고, W'는 5 × 7 행렬이 될 것이다.
   인공 신경망에서 훈련 전에 이 가중치 행렬 W와 W'는 랜덤 값을 가지게 된다. 이후, CBOW는 주변 단어로 중심 단어를 더 정확히 맞추기 위해 계속해서 이 W와 W'를 학습해 가는 구조이다.

 

3. One-hot vector와 W의 곱

위에서 보이는 투사층의 결과는 어떻게 산출될까?

다음 그림을 참고하자.

그림의 위쪽에 나와있는 것처럼 곱 연산이 수행된다. 그러나, 우리는 벡터에서 값이 0인 부분들은 굳이 계산을 하지 않아도 된다는 점을 쉽게 알 수 있다. 그래서 사실 이 곱 연산은 W행렬의 i번째 행을 그대로 읽어오는 것과(lookup) 동일하다는 뜻에서 생성된 V를 룩업 테이블(lookup table)이라고 한다. 

 

이 연산을 cat 뿐만 아니라 모든 단어에 대해 수행하게 된다면, 다음과 같은 결과를 얻게 된다.

이렇게 주변 단어의 one-hot vector에 대해서 가중치 W가 곱해서 생겨진 결과 벡터들은 투사층에서 만나 이 벡터들의 평균인 벡터를 구하게 된다.

이렇게 구해진 벡터 v는 W'와 곱해지고, softmax 함수를 거쳐 input vector와 동일한 차원의 벡터로 생성된다.

중심 단어의 one-hot vector를 y로 정의했을 때, 이 두 벡터값의 오차를 줄이기 위해 CBOW는 손실 함수(loss function)로 크로스 엔트로피(cross-entropy) 함수를 사용한다. cross-entropy 함수에 중심 단어의 one-hot vector와 스코어 벡터를 입력값으로 넣고, 이를 식으로 표현하면 다음과 같다. 

이후, 역전파(Back Propagation)를 수행하면 W와 W'가 학습이 되는데, 학습이 다 되었다면 M차원의 크기를 갖는 W의 행렬의 행을 각 단어의 임베딩 벡터로 사용하거나 W와 W' 행렬 두 가지 모두를 가지고 임베딩 벡터를 사용하기도 한다고 한다.

 

2. Skip-gram

context word를 통해 center word를 예측하는 CBOW는 반대로,

Skip-gram은 center word를 통해 context word들을 예측하는 방식이다.

앞서 사용한 예시를 그대로 사용해 보자.

 

1. Dataset

Skip-gram에서는 이런 방식으로 데이터셋을 만들 수 있다.

 

2. Skip-gram의 구조

인공 신경망을 도식화하면 위와 같다.

이후의 계산 과정은 CBOW와 유사하다.

Skip-gram에서는 중심 단어에 대해서 주변 단어를 예측하므로, 투사층에서 벡터들의 평균을 구하는 과정은 없다.

 

여러 논문에서 성능 비교를 진행했을 때 전반적으로 Skip-gram이 CBOW보다 성능이 좋다고 알려져 있다.

---

오늘은 이렇게 Word2Vec의 주요 알고리즘인 CBOW와 Skip-gram에 관해 알아보았다.