Two Birds One Stone: Dynamic Ensemble for OOD Intent Classification

지난번 DeepAligned Clustering 논문에 이어 이번에는 OOD intent classification에 관한 논문을 읽었다.

본 논문은 2023년도 ACL 학회에 수록된 논문이며, 지난번 저자와 같은 Xipeng Qiu 가 저자로 참여했다.

---

Abstract

TODS에서 OOD intent classification은 정말 활발하게 연구되는 주제이다. 이 분야에서는 2가지를 요구하는데,

바로 모델이 '무엇을 아는가'와 '모델이 무엇을 알지 못하는가'이다.

본 논문에서는 open-world scenario에서의 overthinking과 OOD intent classification 분야에서 그것의 영향력에 대해 탐구한다.

결과적으로, 이 모델은 추론 과정에서 OOD classification을 일찍 마무리할 수 있고, 추론의 정확도와 속도를 향상한다.

또, 동적 추론 과정 (모델이 추론하는 동안 OOD 분류 결정을 동적으로 하는 것)을 적용함으로써 앙상블 기법 기반의 training method를 제시한다.

---

Introduction

TODS의 intent classification 분야에서 중요한 2가지는 IND intents의 정확성을 보장하는 것과 OOD intent를 잘 분류하는 것이다.

근래에는 PTM (Pre-Trained Models)의 마지막 layer를 intent understanding으로 사용하는 것이 사실상 표준이 됐다.

그러나 PTM은 closed-world scenario에서 샘플의 의미적 특성에 대해 overthinking 하는 것으로 알려져 있다. 이는 보통 여러 겹의 transformer layer을 거치면서 생성되는 최정 의미적 표현이 너무 복잡해져, model의 최종 결정에까지 영향을 주는 것이다.

 

그래서 본 논문에서는 BERT와 ALBERT를 사용해서 IND와 OOD를 구분하는 것에 있어서도 overthinking 하는지 확인했다. 이는 open-world scenario에서도 PTM이 overthinking 하는지 알아보기 위함이다.

 

1. 실험 방법

1. IC (Internal Classifier)을 각 transformer layer에 부착한다.

2. 부착된 IC들을 논문에 제시된 2가지 stage로 train 시킨다.

이 IC들의 output은 IND와 OOD를 구별하는 능력인 confidence와 uncertainty를 측정한다. 여기서 confidence가 높고 uncertainty가 낮으면 IND, 반대이면 OOD이다.

 

2. 실험 결과

붉은 선은 Pred Entropy로, 모델의 internal layer들의 샘플 output의 entropy(평균값)인데, 이는 output의 certainty를 측정하기 위해 사용된다.

• 높은 엔트로피-  모델의 예측에 대한 불확실성이 높음
• 낮은 엔트로피 - 모델이 해당 예측에 대해 더 확신하고 있음

그래프에서 layer를 지날수록 certainty가 점차 감소하는 것을 볼 수 있다.

 

Diff 커브는 모든 IND 샘플과 OOD 샘플의 신뢰도(평균 값) 간의 차이의 변화 추세를 나타낸다. 여기서 파란색은 신뢰도를, 주황색은 엔트로피를 나타낸다. 이 차이가 크면 모델이 IND와 OOD 샘플을 잘 구분한다는 것을 의미하고, 차이가 작아지면 모델이 두 샘플 타입을 잘 구분하지 못한다는 것을 나타낸다.

layer를 통과할수록 이 차이가 점점 커지다가 마지막에는 조금 감소하는 추세를 보이는데, 이는 초반 몇 layer을 통과할 때 샘플들을 구별하는 능력이 뛰어나다가, 후반에는 구별 능력이 떨어지게 된다는 것을 뜻한다.

 

3. 결과 분석

본 논문에서 분석한 결과는 다음과 같다:

1. open-world scenario에서도 PTM은 IND와 OOD의 차이를 위해 overthinking 한다.
2. 다양한 scenario에서 overthinking 하는 model은 IND와 OOD를 구별하거나, 추론 중 IND의 특정 class를 식별하기 위해 마지막 계층을 전달하는 것은 불필요하다.

이에 대한 해결 방안으로, 본 논문에서는 다음 전력을 제시한다.

1. 추론 전략: 전달된 IC의 동적 앙상블

-> IC가 일찍 탈출 (exit) 하기 위한 충분한 confidence가 있을 때 투표해서 sample이 IND인지 OOD인지 판단한다.

2. 추론 단계에서 정확하고 빠른 행위에 적응할 수 있는 training method 도입

• 훈련 과정에서 IC 간의 중복성을 줄임으로써 IC의 다양성을 높여 IND의 인식 능력을 향상한다.
• open space risk (모델이 학습하지 않은 부분에 대한 예측)을 훈련 과정에서 각 훈련 샘플의 근접한 영역의 인지 행동을 조정함으로써 줄이고, 이를 통해 OOD 감지 능력을 향상한다.

4. 요약

1. open-world scenario에서 overthinking 현상을 탐구하고 해당 현상의 IND와 OOD 구분에서의 영향에 대해 탐구한다.
2. 간단하고 효율적인 추론 전략으로 model 인지 능력과 model 추론의 속도를 향상한다.
3. 실험을 통해 제시된 방법이 정확성을 높이고 추론을 효율적으로 가속화할 수 있도록 한다.

---

Method

early exiting을 위해 BERT의 각 layer에 IC를 부착한다.

Z_l을 IC에 의해 생성된 l번째 layer의 output, Z_(1:l)을 첫 번째부터 l번째 layer까지의 IC의 joint output으로 정의하고, φ를 추론 (앙상블) 전략으로 정의한다.

1. Training Objective

Training ICs as an Ensemble

우선 training sample은 IND sample 뿐이라는 것을 인지해야 한다. 이렇게 IND sample만 가지고 실험하는 것이 OOD 구별에 악영향을 미치는 것이 아닌지 우려가 있지만, 오히려 이렇게 구성된 sample은 오히려 IND 발견과 OOD 감지에 도움이 된다고 한다.

(https://arxiv.org/abs/2110.06207)

 

최종 목표는 정확성을 잃지 않으면서 추론을 가속화하는 것이기 때문에, 이 IND sample이 1부터 l번째 layer을 통과한 것에 대한 추론이 label Y와 같게 해야 한다. 즉 다음 식을 만족해야 한다:

Y는 ground truth label이다.

 

위 식은 사전 연구에 의해 다음과 같은 상한을 갖는다고 증명된 바가 있다.

여기서 Ent(Y)는 랜덤 변수 Y의 entropy를, I(Z_(1:l);Y)는 Z_1:l과 Y의 mutual information, 상호 정보를 나타낸다.

우리는 원래 목적확률인 p(φ(Z_(1:l) /= Y))를 위 상한에 의해 I를 최대화시킴으로써 최소화시킬 수 있다.

그러나, Z와 Y의 지수적 조합 속성으로 인해, 이 결과를 바로 계산할 수 없어, 사전 연구에 의해 제시된 하한을 다음과 같이 나타낼 수 있다:

두 항을 조금 더 살펴보자.

L_rel이라고 표기된 앞 항은 Z_i와 Y의 mutual information의 합을 나타내고, 이를 relevancy라고 칭한다. 이는 해당 계층의 출력이 label과 얼마나 밀접한 관계를 나타내는지 보여준다.

L_red라고 표기된 뒷 항은 classifier 간 상호 의존을 나타내고, 이를 redundancy라고 칭한다. 즉 다른 출력층들 간 얼마나 많은 중복 정보가 있는지 보여준다.

 

앞선 연구에 따르면, L_rel은 -L_ce(z_i, y)로, L_red는 -min_(j<i) L_ce(z_i, z_j)로 나타낼 수 있다. 이를 이용해서 z를 기준으로 Loss 함수를 작성하면 다음과 같다:

L_ce는 standard cross entropy loss, z_i는 i번째에 입력된 internal representation, y는 실제 Label이다.

알파와 베타는 하이퍼파라미터를 나타낸다.

Training ICs as an Ensemble

사전연구에 따르면, open space risk를 줄임으로써 OOD 감지를 높일 수 있다는 정보가 있었다.

이에 open space risk 관련 식을 나타내면 다음과 같다:

O는 open space, f는 분류기인데, x가 IND intent이면 1 이상, 아니면 0 이하의 값을 출력한다. 또 S는 O를 포함한 전체적인 의미적 공간이다.

 

training sample (IND intent)를 이용하면, open space O는 다음과 같이 재정의될 수 있다.

여기서 σ(z)는 z 근처의 최소 의미적 공간을 뜻한다.

이를 이용해서 다시 open space risk 식을 작성하면 다음과 같다:

S는 전체 공간이므로, 마지막 식에서의 분모는 변하지 않는다.

그러므로 open space risk를 줄이기 위해서는 분자를 최대화시켜 R_o(f)를 최소화시키는 것이 목표이다.

그렇다면 분자가 뜻하는 건 무엇일까?

 

분자에서의 적분을 해석하면 z(IND intent의 의미적 특징)의 근처 최소의 의미적 공간을 기준으로 한 f 함수의 적분을 뜻한다.

f는 IND intent일 때 값이 1 이상, 아닐 때 값이 0 이하인 분류기이므로,

이 분자 값을 최대화시키기 위해 직관적으로 생각해 보면, z의 주변 의미적 공간의 point들이 가능한 IND로 인식되도록 구성해야 한다.

 

그러나 의미적 공간의 sample point들이 매우 많으므로,

본 논문에서는 적대적 예제 기법을 사용해서 z^~를 선별하여 이들이 모두 IND로 인식되게 했다.

z^~란 이미 z의 label과 일치하는 sample을 뜻한다.

식은 다음과 같다:

여기서 τ^*는 편차 벡터이다. 뒤의 식에서 L은 모델의 손실 함수, z는 원래의 입력 feature 벡터를 나타내며,  z^~는 z에 변화 벡터   τ를 추가하여 얻은 새로운 feature 벡터이다.

따라서, 이 식은 모든 가능한 τ 벡터 중에서 L을 최대화하는 벡터를 찾는 것을 의미한다. 이렇게 선택된 τ^* 는 원래의 입력 z에 가장 큰 영향을 주는 변화 벡터로 볼 수 있다.

이는 적대적 예제 생성에서 사용되는 기본 아이디어로, 원래의 입력에 가능한 한 작은 변화를 추가하여 모델의 예측을 크게 바꾸려는 것이다.

Final finetune Objective

위의 식을 loss 함수에 대입하여 나타내면 다음과 같다:

그럼 최종 loss는 두 loss 함수를 더한 것이 된다.

위 과정을 하나의 그림으로 나타내면 다음과 같다:

2. Inference Stategy

추론 중, input sample x_i에 대해 l번째 IC에서 추론하는 label \hat {Y}_l은 다음과 같다:

기호 (G)는 scoring function인데 (본 논문에서는 LOF이 사용되었다.), 이 값이 θ_l보다 작으면 OOD, 크거나 같으면 IND로 판단한다. H는 softmax function, K는 IND intent의 총 수이다.

최종 결정은 여태 지나간 모든 IC들의 투표로 결정되고, 그 특정 class가 일정 threshold(임계치) 이상이면 최종 결과로 여기고 early exit 한다.

l번째 layer에서 사용되는 추론 전략 식은 다음과 같다:

H는 IND와 OOD를 포함한 set, γ는 하이퍼파라미터이다.

φ(Yˆ1:l)의 값이 특정 threshold보다 클 경우, 이 sample은 특정 l번째 layer에서 탈출하여
IND 일 경우, IND label이 주어지고, OOD일 경우 OOD로 판단된다.

이렇게, 총과정은 다음 그림과 같다:

---

Experiment

본 연구는 다음 3가지 데이터셋에 대해 실험한다:

• CLINC-FULL
• BANKING
• StackOverflow

Metrics

1. 정확성 관련

OOD 클래스들을 하나의 싱글 거절된 클래스로 여긴다.

F1-IND와 F1-OOD는 각각 IND와 OOD 클래스의 값의 macro F1-score을 나타낸다.

또한 model의 최종 effectiveness를 계산하기 위해 accuracy score과 F1-score을 계산하는데, 이들을 각각 ACC-ALL과 F1-ALL이라고 한다.

2. early exit 관련

early exit의 구체적인 계산은 다음과 같다:

L은 layer의 수, N_l은 l layer에서 exit 하는 샘플의 수를 뜻한다.

Experimental Setting

1. 우선 데이터셋을 training, valid, test 3가지의 묶음으로 분류한다.
(OOD에 해당하는 class는 training set에서 제외되고 test set까지 보존된다.)

2. 전체 intent의 25%를 IND로 선별하는 데이터 묶음과 75%를 IND로 선별하는 묶음의 2가지 데이터셋 조합을 만든다.

3. BERT (12 layers)를 사용하고, 가장 널리 알려진 하이퍼파라미터로 fine-tuning 한다.

4. Loss 식에서의 Alpha(Alpha~)와 Beta(Beta~)를 각각 1.0과 0.1로 고정한다.

5. OOD 감지 방식으로는 LOF를 사용한다. LOF에는 다른 방식들과 달리 거리를 계산하는 것에 있어 좋은 방식이 없으므로 cosine 유사도를 사용한다. 또 LOF의 threshold(임계치)를 validation set을 이용해서 선정한다.

6. KNN과 같은 다른 실험을 해서 본 논문에서 제안한 방법의 일반성과 효율성을 입증한다.

 

Results

위 결과들은 BANKING과 StackOverflow, CLINC-FULL 데이터에 관한 본 논문의 결과를 보여 준다.

결과를 보면 모든 결과에 대해 speed-up만 되지 않았을뿐더러, IND recognition을 강화하면서 OOD detection을 효과적으로 수행한다: 이는 본 논문의 방법이 빠르고 효과적임을 보여 준다.

 

또 결과에 대해 더 자세히 분석해 보면, speed-up 이 높으면 대체로 정확성도 높고, speed-up이 낮으면 대체로 정확성이 낮다는 사실을 보여 준다. 즉 speed-up과 모델의 효과가 비례한다.

이는 모델의 결정이 나중에 만들어질수록, 마지막 level에 미치는 영향이 커진다는 것을 뜻한다.

이는 dynamic decision making의 필요성을 입증하기도 하는데, 모델은 마지막 layer에 의존할 필요 없이 독립적으로 decision을 만들어야 한다.

---

Analysis

1. A Closer Look at Internal Layers

(a)와 (b)를 보면, 모델의 각 layer에서의 성능을 보여 준다. 여기서 overthinking 현상을 발견할 수 있다. Internal layer가 best performance를 달성한 순간, 모델이 fluctuate 하거나 심지어 성능이 낮아지는 현상을 볼 수 있다. 이에 early exit 메커니즘이 overthinking을 막아주고 정확성을 높일 수 있다.

(c)와 (d)를 보면, exiting sample들을 보여주는데, 여기서 거의 모든 샘플들이 early exit 해도 높은 성능을 보여준다는 것을 알 수 있다. 이는 샘플들이 early exiting 하게 도와주고 intent recognition의 정확성도 보장하는 본 논문의 방식을 입증한다.

2. Importance of Training Methods

이 섹션에서는 본 논문에서 제시한 training 전략의 효과를 탐구하기 위해 AVG., Joint, Ensemble 방식들과 비교한다.

결과는 다음과 같다:

이는 본 논문의 training 방법이 추론에 더 좋은 방식임을 보여 준다.

3. Effect of Inference Strategy

이 섹션에서는 추론 전략에 대한 효과를 탐구하기 위해 Random, Concat., Pabee와 비교한다. 결과는 다음과 같다:

4. Compatibility with Other Detection methods?

본 논문에서는 OOD Detection을 위해 LOF 방식을 사용했다.

본 논문에서는 이 방식의 일반성을 입증하기 위해 KNN과 KNN-CL을 통해 비교한다. 결과는 다음과 같다:

---

Conclusion

본 논문에서는 PTM이 open-world scenario에서도 overthinking 하는지에 대해 탐구하며 그것이 IND와 OOD 구분에 있어 어떤 영향을 미치는가에 대해 알아본다. 그 과정에서 two-birds-one-stone(일석이조) 방법을 제안하는데, 이는 추론 과정에서 모델이 마지막 layer을 거치지 않고 일찍 탈출하는 early exiting 방법을 사용해 추론의 정확성과 속도를 모두 갖게 되는 것을 뜻한다.

또한 dynamic inference을 적용할 수 있는 훈련 방식을 적용한다.