Discovering New Intents with Deep Aligned Clustering

지난번 A Probabilistic Framework for Discovering New Intents 논문을 읽고, 논문을 더 잘 이해하고자 해당 논문의 베이스가 되는 DeepAligned 논문을 읽게 되었다.

 

Introduction

우선 이 논문의 목적은 known intent로 labeled 된 data를 가지고 새로운 intent를 발견하는 것이다.

이 작업을 수행하기 위해 기존에는 다음 두 가지 어려움이 있었다:

1. 제한된 양의 known intents의 사전지식을 new intent에게 전달하기 어렵다.

2. unlabeled known과 new intent를 둘다 clustering 하기 위해 친근한 표현을 학습하기 위한 높은 퀄리티의 supervised signal을 만들기 어렵다.

 

이에 대한 해결방안으로, 이 논문은 DeepAligned를 통해 feature learning을 위해 known intent의 사전지식을 활용해서 높은 퀄리티의 supervised signal을 만들었다.

DeepAligned의 전체적인 아키텍쳐는 위와 같다.

1. BERT를 사용해서 intent feature를 추출한다.

2. 적은 labeled data로 모델을 pre-train하고, 의도 개수 K를 추정한다.

3. K-means알고리즘을 사용해서 cluster centroid를 만들고 cluster assignment를 pseudo label로 할당한다.

4. 현재 training epoch과 이전 training epoch 사이를 최대한 가깝게 만들도록 cluster centroid를 조정하고 projection G를 생성한다.

5. 최종적으로 pseudo-label에 G를 사용해서 self-supervised learning을 위해 조정된 label (aligned label)을 생성한다.

---

Approach

위의 과정을 해당 섹션에서 조금 더 구체화시켜본다.

1. Intent Representation

우선 BERT를 활용해서 intent representation을 추출한다.

해당 작업은 다음과 같은 작업을 거친다:

1. input sentence s_i를 BERT에 넣고, 마지막 hidden layer에서 모든 token embedding을 가져온다.

2. mean-pooling을 통해 평균 feature representation z_i를 얻는다.

여기서 CLS는 text classification을 위한 vector, M은 문장의 길이, H는 hidden size 이다.

3. 더 나은 의미적 표현 추출을 위해 dense layer h 를 추가하여 intent feature representation I_i를 얻는다.

 

2. Transferring Knowledge from Known Intents

Pre-training

다음은 known intent로 알고 있는 정보들을 transfer 하는 과정을 거쳐야 한다.

이 knowledge를 잘 transfer 하기 위해서는 제한된 labeled data를 사용해서 모델을 pre-train 시키고,

잘 훈련된 intent 특징들을 활용하면 클러스터의 개수를 추정할 수 있다.

Predict K

우선 클러스터 개수를 나타내는 K를 예측하기 위해 다음과 같은 과정을 거친다:

1. 기본 K값인 K' 설정 (주로 원래 intent의 배수로 결정한다.)

2. pre-train한 모델을 사용해서 intent feature을 추출한다.

3. 추출된 feature들을 사용해서 K-means를 수핸한다.

4. 특정 임계값 미만의 값은 low confidence로 간주하여 버린다.

이 과정을 거친 K 값 추측은 다음 식으로 표현 가능하다:

|S_i|는 i번째 생성된 cluster 개수, δ는 indicator function인데, |S_i|가 t보다 크거나 같으면 1을, 아니면 0을 나타낸다.

 

3. Deep Aligned Clustering

known intent로부터 knowledge를 transfer 한 후, 이제 unlabeled known, novel classes를 찾기 위해 clustering 작업을 수행해야 한다. 우선 클러스터링 후 cluster assignment와 centroid를 얻고, self-supervised learning을 위한 전략을 실행한다.

Unsupervised Learning by Clustering

거의 대부분의 data들은 unlabeled 되어 있으므로, unlabeled sample들을 이용해서 새로운 class를 찾아보자.

1. training data에 대한 intent feature을 pre-train 시킨 모델을 사용해서 추출한다.

2. K-means 알고리즘을 사용해서 optimal cluster centroid matrix C와 cluster assignment를 학습시킨다. 식은 다음과 같다:

N은 training sample의 개수, ||~~||^2_2는 유클리디안 거리의 제곱을 의미한다.

이후 cluster assignment를 feature learning의 pseudo-label로 간주하여 사용한다.

 

Self-supervised Learning with Aligned Pseudo-labels

이 논문이 참고한 DeepCluster 논문에서는 K-means를 활용한 clustering과 파라미터 update를 번갈아 가며 진행했다.

그러나 이 방식에서, 각 epoch마다 K-menas를 수행하면 data index가 계속 재배치된다는 문제가 발생했다.

이는 data의 label이 epoch마다 바뀔 수 있음을 뜻했고, 그럼 모델은 epoch마다 다른 label을 가진 data로 훈련하게 된다.

이는 일관된 학습이 어렵다는 점에서 치명적인 단점이었다.

 

따라서 해당 논문에서는 assignment inconsistency 문제를 위해 alignment 전략을 도입한다.

위에서 문제는 epoch마다 다른 label을 가진다, 즉 이전의 학습 정보가 기억되지 않는다는 점이었다.

이를 해결하기 위해 해당 논문에서는 cluster centroid를 사용했다. 단계적인 과정은 다음과 같다:

 

1. 준비

이전과 현재 epoch에서의 클러스터 중심 행렬 (centriod matrix)을 준비한다.

 

2. 유사도 matrix

클러스터 중심 행렬간의 유사도를 계산하여 유사도 matrix를 만든다.

예를 들어, matrix의 (i,j)는 C^l의 i번째와 C^c의 j번째 유사도를 나타낸다.

(C^c는 current epoch의 centroid matrix, C^l은 last(이전) epoch의 centroid matrix를 나타낸다.) 

 

3. 헝가리안 알고리즘

유사도 matrix에 헝가리안 알고리즘을 적용해서 최적의 매핑을 찾는다.

이는 두 클러스터 중심 행렬간의 유사도를 최대화하는 과정인데,

위에서 찾은 (i,j) 유사도 중 유사도 높은 것이 같은 index에 위치하도록 C^c를 변화시킨다. 식은 다음과 같다:

여기서 G는 헝가리안 알고리즘을 사용하여 얻은 최적의 mapping이다.

 

4. 정렬된 중심 행렬 생성

위 과정을 거쳐 정렬된 중심 행렬 C^c를 생성한다.

 

5. 정렬된(aligned) psuedo label 생성

y^c를 정렬된 중심 행렬에 매핑하여 y^align을 생성한다. 식은 다음과 같다.

 

6. Self-supervised learning

위의 aligned pseudo-label을 사용하고 다음 softmax loss를 사용해서 self-supervised learning을 진행한다:

φ(·)는 pseudo-classifier이다.

 

위와 같은 clustering 과정을 거친 후에는 cluster validity index (CVI)를 사용해서 각 training epoch마다 clustering 후에 얻은 cluster의 quality를 평가한다. 특히, 평가를 위해서는 unsupervised metric인 Silhouette Coefficient를 사용한다. 관련 평가 메소드는 다음과 같다:

 

a(I_i)는 I_i와 다른 i번째 cluster에 있는 sample들의 평균 거리이고 (이는 intra-class compactness를 나타낸다고 한다.)

b(I_i)는 I_i와 i번째가 아닌 cluster에 있는 모든 sample들 중 가장 짧은 거리를 나타낸다. (이는 inter-class seperation을 나타낸다.)

SC의 범위는 -1과 1 사이이고, 높은 점수일수록 좋은 clustering 결과를 뜻한다.

---

Experiments

Dataset

데이터는 CLINC(intent classification dataset)과 BANKING(은행, 금융과 관련된 dataset)이다.

CLINC은 10개의 도메인을 거쳐 150개의 의도와 22500개의 발화로 구성돼 있고,

BANKING은 77개의 의도와 13083개의 발화로 구성돼 있다.

Baselines

평가 방식은 unsupervised와 semi-supervised의 2가지로 나뉜다.

Evaluation Metrics

평가 metric으로는 NMI, ARI, ACC를 사용하는데, ACC로 평가하기 위해서는

헝가리안 알고리즘을 사용해서 예측된 클래스와 ground-truth 클래스의 mapping을 얻는다.

Evaluation Settings

데이터셋은 10%의 training data 중 75% known intent로, 나머지 25%를 unknown intent로 랜덤하게 선택한다.

이후, 해당 데이터셋들을 training, validation, test set로 구분한다.

이때, intent category 수 (K)를 실제 정답값 (ground-truth)로 여긴다.

평가 과정은 다음과 같다:

1. 적은 양의 known intent를 가진 labeled data를 사용해서 모델을 pre-training을 하고, validation set로 튜닝한다.

2. 모든 training data를 self-supervised learning을 위해 사용하고 cluster을 SC로 평가한다.

3. test set에 대한 성능을 평가하고 최종 평균 결과를 작성한다.

결과는 다음과 같다:

---

Conclusion

이렇게, 이 연구에서는 새로운 의도를 발견하는 효과적인 방법을 제시했다.

이 방법은 제한된 known intent의 사전 지식을 성공적으로 transfer하며, low-confidence cluster를 제거함으로써 의도 수를 추정한다.

또한, clustering 프로세스를 안정적이고 구체적으로 안내하는 더 안정적인 supervised signal를 제공한다.

DeepAligned난 비교 대상 방법보다 좋은 성능을 보이며, 제한된 사전 지식을 사용하여 더 정확한 추정된 cluster 수를 얻는다.