A Probabilistic Framework for Discovering New Intents

chatGPT 때문인지, 요즘 대화형 시스템에 관심이 정말 많다.

그중, task-oriented dialogue system에 대해 연구를 하게 되었다.

Task-oriented dialogue system를 주제로 리서치를 해보니, intent detection (의도 감지)가 해당 주제에서 중요한 task라는 것을 알았다. 그럴 만도 한 것이,  task-oriented 챗봇은 특정 작업을 수행하기 위해 설계된 시스템인데, 작업을 수행하기 위해서는 그 작업이 무엇에 관한 것인지 등 의도를 먼저 아는 것이 중요하기 때문이다.

그리하여 나는 정말 최근에 ACL에 수록된 A Probabilistic Framework for Discovering New Intents 라는 논문으로 연구를 시작하게 되었다. 이렇게 흥미롭게, 부록까지 하나하나 다 뒤져가며 섬세하게 읽은 논문은 처음인 것 같다.

---

Abstract

이 논문에서는 새로운 의도를 발견하는 것이 이미 알려진 의도를 식별하는 데 유익하다는 직관을 가지고, 의도 할당 (intent assignments)를 잠재 변수로 다루는 확률적인 프레임워크를 만들었다.

또한, 최적화를 위해 Expectation Mechanism을 도입했는데, 이에 대한 개념은 다음과 같다:

1. E-step
   • 의도 식별
   • 의도 할당의 사후 확률 (posterior probability)를 통한 unlabeled data의 내재된 구조 탐색
2. M-step
   • known intent로부터 전달된 지식을 망각하는 것을 완화하기 위해 labeled data의 구별성 최적화

이 두 개념을 중심으로 논문을 전개한다.

---

Introduction

Task-Oriented Dialogue System (줄여서 TODS)는 유저와의 interaction에서 잠재적인 새 의도를 포착해야 한다. 그리고 이 과정은 labeled data의 도움을 받아 interactio에서 발생한 unlabeled data 내의 의도들을 적응적으로 발견하는 방식이다.

Previous Works

이전 연구들에서는 의도 발견을 비지도 클러스터 과정 (Unsupervised Cluster Learning)으로 진행했다. 그러나 이 방법에는 문제가 있었는데, 바로 clustering 과정을 가이드하기 위해 가상의 지도 학습 신호 구성에 초점을 두고, 사용 가능한 labeled data는 무시했다는 것이다.

이를 적은 양의 labeled data를 미리 소유하여 의도 발견을 가이드할 수 있고, 대화 중 생성되는 많은 양의 unlabeled data에서 기존 의도와 알려지지 않은 의도 둘 다 발견되는 실제 사용 상황에 적용할 수 있을까 ?

우선 어떻게 labeled data를 이용해서 unlabeled corpus의 의도를 알아낼 수 있을지 확인해 보자.

 

논문에서는 2021년도에 유명했던 DeepAligned 모델을 소개한다.

이 모델은

1. 사전지식에 대한 pre-training을 통해 unlabeled data의 의미 특징을 학습시킴으로써 일반화한다.
2. 최신식 표현을 반영하기 위해 각 unlabeled 발언에 가상의 label을 만들고 re-train 시킨다.

그러나 이 DeepAligned 모델은 다음과 같은 2가지 치명적인 문제점이 있었다.

1. pseudo supervision signal로 re-train 될 때 전달 단계에서 model이 전달하는 지식을 망각한다는 문제
2. 가상의 label로 만들어진 softmax loss는 unlabeled data의 내재된 구조를 볼 수 없고, 이에 따라 정확한 clustering이 불가능해진다는 문제

해당 문제들을 해결하기 위해, 이 논문에서는 새로 발굴하는 intent가 원래 intent (known intent)에 영향을 주지 않는다는 직관으로 시작한다. labeled data에 포함된 의도는 의도 발견을 위한 가이드로 쓰이고, unlabeled data로부터 얻은 정보는 이전 의도 발굴의 확인 (정확성)을 향상할 수 있는 윈윈 관계를 형성하게 하는 것이다.

이는 의도 할당을 숨겨진 변수 (latent variable)로 가지는 원칙적이고 방법론적인 프레임워크인데, 해당 프레임워크의 최적화를 위해 Expectation-Maximization을 원칙 템플릿으로 갖는다. 

해당 템플릿은 다시 E-step과 M-step이라는 두 가지 단계로 나뉜다.

• E-step에서는 현재 모델을 사용해 의도를 발견하고, data의 내재된 구조를 보기 위해 의도 할당의 구체적인 사후 확률을 계산한다.
• M-step에서는 unlabeled data로부터 새로 발견된 의도를 포함한 데이터의 확률과, labeled data를 식별하는 확률, 친화적 발견의 특징을 학습하는 데 도움이 되는 의도 할당의 사후 확률을 동시에 최대화하여 모델의 파라미터를 최적화 및 업데이트한다.

---

Related Work

사전 연구로는 Unsupervised Clustering과 Semi-supervised Clustering 방식이 있다.

각각의 방식에서 다양한 방법론이 한 줄로 설명되는데 이는 논문에서 Related Work 부분을 보는 편이 더 좋을 것 같다.

Unupervised Clustering의 단점은 사전 지식으로 clustering을 가이드하는 것을 사용하지 못한다는 것이고, Semi-supervised Clustering의 단점은 위에서 설명한 망각 과정을 보유한다는 것이다.

---

Approach

1. Problem Definition

우선 labeled dataset을 D^l, 그에 해당하는 intent(의도)를 Y^l, unlabeled dataset을 D^u라고 정의하자.

D = D^l U D^u 임을 이용해서 D^u에 의도 할당을 하는 것이 이 논문의 목표이다. (D는 전체 dataset)

위에서 밝혔다시피, 이 논문에서는 known intent(원래 알고 있던 의도)를 훼손하지 않으면서 이익을 가져가야 하는 상황이다. 이는 다음과 같은 수식으로 표현할 수 있다.

Z는 잠재 변수

여기에 Z_D를 하나의 값으로 취급하고 각 변에 log를 취하면 다음과 같이 작성할 수 있다.

L_obj

이제 목표는 좋은 Z_D를 찾아 L_obj를 최적화하는 것이 되었다.

 

위 과정을 더 알기 쉽게 풀어쓰면, 

1. 데이터 D에는 다양한 대화 문장들이 있고, 문장들은 의도에 따라 clustering 된다.
2. 이후, 각 그룹에 해당하는 의도를 할당하기 위해 잠재 변수 Z를 도입한다.
3. Z_D는 의도 할당의 값인데, 이는 그룹의 의도를 매핑하여 데이터와 의도의 관계를 모델링하는 것에 사용된다.

2. Intent Representation Transferring Knowledge

model을 초기화하기 위해서는 labeled 단어에서 knowledge를 tansfer 하는 것이 필요한데, 해당 논문에서는 BERT를 fine-tuning 하여 사용한다.

발화 (x_i)가 주어지면, BERT를 사용해서 contextual embedding을 구하고, mean-pooling을 통해 의미적 표현 (z_i)를 추출한다. fine-tuning 하는 과정에서 objective function은 다음과 같다:

BERT fine-tuning 과정에서의 objective function

fi 함수는 선형 분류를 뜻하고, K^l은 known intent의 수를 뜻한다.

3. EM Framework for Optimization

위에서 설명한 Z는 다음 두 가지 속성으로 구성돼 있다:

1. D 안에 얼마나 많은 의도가 있는지 나타내는 척도인 K를 어떻게 결정할지
2. D에 해당하는 의도를 어떻게 할당할지

K를 추측하기 위해서, 이 논문에서는 다음과 같은 과정을 거친다:

1. 우선 rough value k를 설정한다. (ex. 실제 의도 개수의 배수)
2. k개의 의미적 cluster로 그룹화하여 크기가 일정 threshold 미만인 것을 제거하여 데이터를 정제한다.
   여기서 D에 K-means를 사용하여 k개의 묶음으로 만든다.
3. K-means를 사용해서 각 발화에 의도를 할당한다.
4. EM 알고리즘 프레임워크로 어떻게 위의 L_obj 식을 최적화할지 생각한다.

EM 알고리즘의 단계는 다음과 같다:

1. E-step

• 이전에 가상의 label을 할당한 cross-entropy loss를 사용하는 모델들은 정확하지 않았다.
• D의 내재된 구조를 더 잘 반영하고, 의도 할당의 특징을 학습하기 위해서 동일한 의도를 가진 발화문을 의미적 공간에서 가깝게 배치하고, 서로 다른 의도를 가진 발화문은 멀리 배치한다. 
  해당 개념은 contrastive learning으로부터 영감 받아 사후 확률인 p(Z|D; θ)를 추정한다. 식은 다음과 같다:

C_k는 Z에 의해 생성된 cluster이고, x와 x+ 는 특징들 간의 코사인 유사도로 계산된다. 

 

Deepaligned의 망각 특성 극복을 위해서는 L_obj 관련 식을 최적화해야 하고, 이를 위해서는 p(Y^l|Z, D; θ)도 계산해야 한다.

계산 식은 다음과 같다:

pi 함수는 위에서 설명한 것과 같은 linear classifier (선형 분류기)이고, y는 x의 label, K^l는 known intent의 총길이, D^l은 D에서의 labeled data이다.

D^l(D^u, Z)는 D^u의 샘플 중 Z 과정을 거쳐 known intents로 여겨질 수 있는 샘플을 뜻한다. 이에 관한 식은 다음과 같다:

x^l은 D^l의 샘플, y^l는 x^l의 label이다. N_Z(x^l)는 Z에 의해 x^l과 같은 묶음으로 묶인 것의 가까운 neighbor unlabeled dataset 샘플이다.

(참고) D^l을 더했을 때와 더하지 않았을 때 effect를 비교해 보니, 더했을 때의 성능이 훨씬 좋았음을 알 수 있다.

이후 labeled 된 data는 model training에 맞춰진다.

위와 같은 방법으로, 모델은 labeled data에서 transfer 시에도 knowledge를 잃지 않게 되고, 계속 dataset의 내재적인 구조를 탐구할 수 있게 된다.

2. M-step

M-step에서는 Equation 2번의 θ를 업데이트하는 것이 목적이다.

위에 E-step에서 만든 식으로, 최종 loss는 다음과 같이 작성된다:

최종 loss

여기서 λ는 학습 중 두 개의 log 확률을 계산하기 위한 하이퍼파라미터이고, τ는 temperautre scaling을 위한 하이퍼파라미터인데, 이는 가끔 contrastive learning에도 등장한다.

여기서 first term (λ와 곱해진 부분)은 unlabeled data의 내재된 구조를 탐색하여 exploration이라고 하고,

second term ((1-λ)와 곱해진 부분)은 labeled data에서 transfer 된 지식을 사용하기 위해 강화하는 것으로 utilization이라고도 한다.

λ의 값을 조정하여 실험한 그래프를 보았을 때, exploration과 utilization 둘 다 필요한 것을 알 수 있다.

---

최종적인 EM 프레임워크의 학습 과정을 시각화하면 다음과 같다:

---

Experiments

논문에서 제시된 실험에서는 다음 3개의 데이터셋을 활용해서 효용성을 증명한다.

1. CLINC

2. BANKING

3. StackOverflow

결과는 아래와 같다

---

Results and Discussion

결국, 이 프레임워크는 위의 3가지 실험에서 모두 우수한 성능을 보여주었다. 이 프레임워크에서는 labeled data를 model training의 가이드로 사용하여 model이 더 좋은 결과를 가지게 했다.

 More Than Remembering Knowledge

해당 논문에서는 unlabeled data에서 발견된 D^l 샘플이 망각현상을 막는 것을 넘어서, known intents의 확인을 도와주었기 때문에 model이 우수한 성능을 보여준다고 주장한다.