Beyond Candidates: Adaptive Dialogue Agent Utilizing Persona and Knowledge

Abstract

dialogue agents에 대한 연구가 이어지는 가운데, 앞선 연구들은 페르소나 (persona)와 지식 (knowledge)을 내장된 데이터로부터 가져와 답변했다. 그러나 실제 세계에서 사람들이 대화할 때, 사람들은 준비된 후보 문장들을 가지고 답변하기보다는, 대화에 맞는 의미적 concept을 마음에 가지고 대화한다. 이런 대화 양식에 착안하여, 본 논문에서는 문장 후보들이 주어지지 않은 상황에서의 적응적 대화 시스템을 제안한다.

논문에서 제안한 모델은 단편적인 정보만을 가지고 일관적이고 관련 있는 persona 설명을 생성하며, 논리적인 답변을 위해 관련된 지식을 확인한다.

---

Introduction

일반적인 대화에서는 대화 주제와 대화자를 기반으로 대화의 의미론적 개념을 마음에 품고 대화한다. 사람들은 논리적이고 공감적인 답변을 전달하기 위해 대하에 등장하는 concept를 종합하여 받아들이는 것이다. 그리고 이러한 과정은 pre-defined 자원에 의존하는 것이 아닌, 지식과 페르소나 같은 추가적 정보들을 적응적으로 얻고 재편성함으로써 대화를 하는 것이다.

그리하여, 대화에 있어서 persona와 knowledge를 참조하는 방식에 대한 연구가 진행되어 왔는데, 이전 연구들은 모두 사전 정의된 후보들이 있었다. 이러한 연구를 그림으로 보면 다음과 같다.

이렇게, Persona candidate과 Knowledge candidate이 사전 정의돼 있다.

 

보통 대화에서는 위와 달리 persona와 knowledge가 주어지지 않으므로, 후보에 대한 의존을 없애야 하고, 다음과 같은 상황이 만들어져야 한다.

이런 Candidate-Agnostic 상황에서 dialogue system을 만들기 위해, 다음 사항들이 고려되었다.

1. Knowledge가 있는 경우, 파라미터가 없는 기억 중신의 retrieval을 통해 candidate-agnostic 상황 극복

2. Persona가 있는 경우, 몇 개의 persona concept에서 persona sentences를 확장하는 방법을 통해 out-of-persona 상황에 대비

 

그러나 Persona와 Knowledge 후보들이 모두 없는 상황은 없었다.

그래서 본 논문에서는 두 후보들이 모두 없는 상황에서 dialogue system을 구축하고자 한다. 이는 1. knowledge-retriever, 2. concept-based persona generator, 3. dialogue-persona generator, 4. response generator의 4가지 구성 요소로 이루어지는데, 각각의 구성 요소를 활용한 과정은 다음과 같다.

 

1. Knowledge concept이 주어짐 (Query 등으로부터)
2. knowledge base로부터 비슷한 knowledge를 찾음
3. Concept-based persona generator가 단편적인 persona concept을 가지고 문장을 완성시킴
4. 생성된 persona 설명이 consistency, relevency를 고려한 persona aligner를 통해 입증됨
5. 입증된 persona 설명이 답변 생성기의 input으로 주어짐

---

Method

4가지 구성요소를 활용하여 Adaptive dialogue system을 구축한 방법에 대해 하나씩 알아보자.

 

먼저 dialogue D = {(u1hm, u1mc), ..., (unhm, unmc)}라고 하자. n은 대화 round의 개수이고, hm은 human, mc는 machine의 약자이다. Dialogue history H = {(u(n-w)hm, u(n-w)mc),..., (u(n-1)hm, u(n-1)mc), (unhm)} 인데, 여기서 w는 window size이다.

주어진 persona sentences P = {p1, p2, ..., p|P|}이고, CP = {c1p, c2p, ..., c|P|p}는 persona concept를 나타낸다. 

1. Knowledge Retriever

모델에게 Knowledge Candidate가 없는 상황에 적응시키기 위해 non-parametric memory-based retrieval을 사용한다. 이는 query encoder와 dense vector matrix를 섞는 것인데, 이들은 향상된 semantic search를 위한 pre-trained dense passage retriever (DPR)로부터 얻어졌다고 한다. (참고로 찾아보니 DPR은 Open-domain QA에서 높은 성능을 보인 모델이다.)

본 모델은 FAISS 라이브러리로 knowledge concept C^K에 대해 MIPS를 이용해서 유사한 knowledge를 retrieve 해온다. 이렇게 retrieve된 knowledge 중 top-K relevant paragraph들이 input으로 사용되며, K^이라고 불린다.

 

위 수식에서 e는 context encoder로부터의 embedding, q는 query encoder로부터의 representation이고, 둘 다 BERT로 implement 되었다.

2. Concept-based Persona Generator

본 논문에서는 Candidate-free 상황에서의 의미적 concept을 사용하도록 하기 위해, concept-based persona generator를 사용하여 persona를 생성했다. 이는 persona concept만을 가지고 완전한 persona description을 제공하게 하기 위한 것인데, 이 persona generator는 retrieve-and-generate manner로 가져온 persona concept만을 가지고 타당한 full persona description을 생성하도록 pre-trained 되었다.

 

Pre-training 과정을 위해서는

1. 먼저 FoCus와 Persona 데이터셋으로부터 persona pool을 만들고

2. DPR를 사용해서 persona retriever를 pre-train 한다.

3. 이후, BM25로 높게 rank된 persona 문장은 negative sample로,

4. BART로 훈려된 generator를 이용하여 얻어진 top k relevant persona 문장은 positive sample로 설정한다.

위 과정을 거쳐 Concept-based persona generator는 완전한 persona sentences G^P를 만든다.

3. Persona Aligner

Persona Aligner는 PC와 PR의 두 가지 모듈로 구성된다.

Persona Consistency (PC)

generated persona sentence가 얻어지면, PC는 이전의 대화 히스토리 H를 부정하는지를 검사한다. 그러나 생성된 persona의 consistency의 모든 lavel을 얻는 것은 너무 비효율적이기 때문에, ChatGPT에게 consistency 확인을 맡긴다. 본 연구에서는 ChatGPT에게 생성된 persona가 이전의 대화를 부정하는지 안 하는지 검사하게 한다. 이후, PC는 해당 label로 학습된다. 이 PC 모듈은 frozen 되며, 추론 단계에서 문장이 dialogue history와 일관되는지 예측한다. 

Persona Relevancy (PR)

PC와 다르게 PR은 대화와 연관된 적절한 persona 문장을 고르는 역할을 한다. PC를 통해 dialogue history에 반하는 persona인지에 관해 검사를 했어도, 연관이 낮을 수 있다는 것에서 도입된 모듈이다. 과정은 다음과 같다

1. 먼저 DPR로 dialogue와 생성된 persona를 각각 encoding하고 hidden state를 얻는다.
2. concatenate 해서 2개의 linear layer에 넣어 연관성을 계산하도록 한다.

두 개의 모듈을 통해 예측된 persona가 최종 persona로 간주된다.

Loss는 다음과 같다.

l_j는 j번째 예시에 해당하는 ground-truth label 이다.

4. Response Generator

예측된 relevant knowledge passages와 persona description으로, 이들을 concatenate 하여 하나의 sequence로 만들어 I라고 칭한다.

최종 loss는 L_P와 L_LM을 결합한 것이 된다.

---

Evaluation

Metric으로는 FoCus dataset에 포함되는 다음 metric 들을 사용한다.

• BLEU
• chrF++
• ROUGE-1
• ROUGE-2
• ROUGE-L

이 metric들을 활용한 결과는 다음과 같다.

후보가 없는 상황 중에서 본 연구의 모델이 가장 성능이 좋고, 그중 RAG를 사용했을 때보다 BERT-large를 사용했을 때가 더 성능이 좋음을 알 수 있었다.

 

본 논문에서는 human evaluation도 진행했는데, 다음 항목들을 평가하여 1~3점 사이의 점수를 매길 수 있도록 하였다.

• Informativeness
• Knowledge hallucination
• Persona hallucination
• Persona relevancy
• Persona consistency
• Fluency

 

다른 Ablation Study는 논문을 참고하고, 실제로 생성된 답변을 보면, 다음과 같다.

이를 유심히 살펴보면, vanilla BART와 RAG 모델은 얕은 response를 보여주는 반면, 본 논문에서 개발한 모델은 knowledge concpet을 이용하여 좀 더 깊은 response를 보여주는 것을 알 수 있다. (답변 중 색칠된 부분)

 

이렇게, 본 논문에서 개발한 모델이 knowledge concept와 결합한 external information를 이용하여 정확하고 공감적인 답변을 이끌며, 왜곡 또한 없음을 알 수 있다.