연구 분야를 정하려고 논문을 보고 있는데, NID (New Intent Classification) 논문들을 계속 읽게 된다. 본 논문은 2022 ACL 학회에 수록된 논문이며, 주 저자는 Yuwei Zhang 이다.AbstractProblem기존의 방법들은 다량의 labeled data에 의존하거나 pseudo-labeling을 통한 clustering 방법을 사용하기 때문에 너무 label에 의존적이다. 본 연구에서는 NID 분야에 있어 다음 질문들에 대한 답을 얻고자 했다:어떻게 의미적 발화 표현을 학습시킬 수 있는지발화들을 어떻게 더 잘 clustering 할 지MethodMulti-task pre-training(MTP) 전략 사용representation learning을 위해 많은 양의 un..
지난번 DeepAligned Clustering 논문에 이어 이번에는 OOD intent classification에 관한 논문을 읽었다.본 논문은 2023년도 ACL 학회에 수록된 논문이며, 지난번 저자와 같은 Xipeng Qiu 가 저자로 참여했다.AbstractTODS에서 OOD intent classification은 정말 활발하게 연구되는 주제이다. 이 분야에서는 2가지를 요구하는데,바로 모델이 '무엇을 아는가'와 '모델이 무엇을 알지 못하는가'이다.본 논문에서는 open-world scenario에서의 overthinking과 OOD intent classification 분야에서 그것의 영향력에 대해 탐구한다.결과적으로, 이 모델은 추론 과정에서 OOD classification을 일찍 마무..
지난번 A Probabilistic Framework for Discovering New Intents 논문을 읽고, 논문을 더 잘 이해하고자 해당 논문의 베이스가 되는 DeepAligned 논문을 읽게 되었다. Introduction우선 이 논문의 목적은 known intent로 labeled 된 data를 가지고 새로운 intent를 발견하는 것이다.이 작업을 수행하기 위해 기존에는 다음 두 가지 어려움이 있었다:1. 제한된 양의 known intents의 사전지식을 new intent에게 전달하기 어렵다.2. unlabeled known과 new intent를 둘다 clustering 하기 위해 친근한 표현을 학습하기 위한 높은 퀄리티의 supervised signal을 만들기 어렵다. 이에 대한 ..
CS224N 2번째 강의를 수강하고 정리 및 지식 공유를 위해 블로그를 쓴다. 참고로 본인은 2021 Winter 버전을 수강했다. Review: Main idea of Word2Vec & Negative Sampling 지난번 블로그에서 Word2Vec에 관해 정리했다. 간단하게 복기해 보자. 우선 Word2Vec에는 CBOW, Skip-gram이라는 두 가지 알고리즘이 쓰인다. 1. CBOW 맥락 벡터가 입력, 중심 벡터가 출력인 경우를 CBOW 알고리즘이라고 한다. CBOW의 전체적인 구조는 다음과 같다: 과정을 요약하자면, 1. 지정한 윈도우 크기의 2배 크기의 벡터가 one-hot encoding으로 표현되어 input으로 들어간다. 2. 각각의 input마다 첫 번째 가중치 W와 곱해지고, 그..
