논문

📚 논문

Discovering New Intents with Deep Aligned Clustering

2023.08.16

지난번 A Probabilistic Framework for Discovering New Intents 논문을 읽고, 논문을 더 잘 이해하고자 해당 논문의 베이스가 되는 DeepAligned 논문을 읽게 되었다. Introduction우선 이 논문의 목적은 known intent로 labeled 된 data를 가지고 새로운 intent를 발견하는 것이다.이 작업을 수행하기 위해 기존에는 다음 두 가지 어려움이 있었다:1. 제한된 양의 known intents의 사전지식을 new intent에게 전달하기 어렵다.2. unlabeled known과 new intent를 둘다 clustering 하기 위해 친근한 표현을 학습하기 위한 높은 퀄리티의 supervised signal을 만들기 어렵다. 이에 대한 ..

📚 논문

Attention is All You Need

2023.06.16

BackgroundSeq2Seq 모델Encoder와 Decoder를 각각 RNN으로 구성하는 방식입니다.동작원리‘나는’, ‘호두를’, ‘사랑해’라는 3개의 토큰들을 순차적으로 LSTM 셀에 넣으면 , hidden state를 하나씩 출력합니다.이렇게 토큰들의 hidden state들이 출력되면, 마지막 hidden state는 정보를 압축한 vector가 되고, 이를 Context Vector 라고 칭합니다.Context Vector를 통해 이후 token들을 넣었을 때 다음 token 예측을 위한 hidden state가 출력됩니다.문제점Sequence가 길어지는 경우에는 Gradient Vanishing 문제가 발생하여 Context Vector에 앞 순서 token들의 정보가 소실되는 문제가 발생했..

Discovering New Intents with Deep Aligned Clustering

Attention is All You Need

티스토리툴바