chatGPT 때문인지, 요즘 대화형 시스템에 관심이 정말 많다.그중, task-oriented dialogue system에 대해 연구를 하게 되었다.Task-oriented dialogue system를 주제로 리서치를 해보니, intent detection (의도 감지)가 해당 주제에서 중요한 task라는 것을 알았다. 그럴 만도 한 것이, task-oriented 챗봇은 특정 작업을 수행하기 위해 설계된 시스템인데, 작업을 수행하기 위해서는 그 작업이 무엇에 관한 것인지 등 의도를 먼저 아는 것이 중요하기 때문이다.그리하여 나는 정말 최근에 ACL에 수록된 A Probabilistic Framework for Discovering New Intents 라는 논문으로 연구를 시작하게 되었다. 이렇..
지난 CS224N 강의를 수강하고, Word2Vec에 관해 조금 더 개념을 확립하고자 공부하게 되었다. 이번 블로그는 위키독스 를 참고하여 만들었다. Word2Vec word2vec은 word vector들의 학습을 위해 만들어진 프레임워크이다. 해당 프레임워크의 핵심은 text를 컴퓨터가 인식할 수 있도록 숫자 형태의 vector 또는 행렬로 변환하는 것이다. 이는 대부분 대표적으로 다음 두 가지 과정으로 이루어진다: One Hot Encoding (Sparse representation) Word Embedding (Dense representation) One Hot Encoding은 단어 벡터가 0 또는 1의 값으로 구성되어 과정이 단순하다는 장점이 있지만, 큰 차원이 필요하다는 점과, 단어 관계..
이번 방학 때 NLP 관련 개념을 확실하게 잡고자 CS224N 강의를 수강해야겠다고 생각했다. CS~N 강의는 스탠포드에서 가르치는 CS 강의 종류인 것 같은데, 대표적으로는 머신/딥러닝 기초 강의인 CS231N이 있고, 나도 듣다가 말았었다..(너무 길어) 이 강의는 2년에 한번씩 업데이트되는 것 같은데, 나는 2021 Winter 강의를 수강했다. [유튜브 플레이리스트] 첫 강의의 주제는 사람의 언어와 단어 의미에 관한 내용이다. 흔히, 우리가 사용하는 단어들을 컴퓨터가 직관적으로 알아듣기는 어렵다. 이를 위해 단어들을 숫자로 이루어진 벡터들로 변환시켜주어야 한다. How to represent the meaning of the word? 그렇다면 단어의 의미를 어떻게 나타낼 수 있을까? 1. Wor..
얼마 전, 텍스트마이닝 공부를 하면서 네이버 기사들을 크롤링하여 군집화하는 작업을 진행해보았다.해당 작업에서는 코사인 유사도를 구해서 특정 threshold (ex. 0.5)를 기준으로, 해당 threshold를 넘으면 같은 기사로 분류하고,아니면 다른 기사로 분류하는 작업을 진행했었다. (https://yjoonjang.tistory.com/7)이런 실습은 정말 재미있었음과 동시에, '실제로도 이렇게 간단하게 cosine similarity만을 고려해서 군집화 할까?' 라는 의문을 제기했다 .이에 리서치 해보던 중 이 논문을 읽게 되었는데, 내용이 상당히 흥미로웠다.이번에도 자세히 읽었으니, 읽은 흔적을 첨부해본다.Abstract뉴스 기사에 있어서, 기사의 모든 정보를 무분별하게 인코딩하는 단순 모델..
