이번 학기부터 1년간 학교에서 졸업 프로젝트를 하게 되었다. 빨리 이상한 기계공학과로부터 벗어나고 싶다. 1. 아이디어 대략적인 기획은 함께 프로젝트를 진행할 프론트엔드 파트너와 9월 초부터 준비했었다. 우리의 목표는 "일상의 문제를 해결하면서, 사람들이 잘 써보고 피드백을 받아볼 수 있는 NLP 기반의 웹 프로젝트를 만들자!" 였다. 우선 떠오른 아이디어는 다음 3개이다. 맞춤형 진로/학과 추천 서비스 학습 문서 기반 Q&A 생성 서비스 AI 기반 자기소개서 생성 서비스 그러나, 이들 중에 이미 위 2가지는 이미 서비스가 있기도 했고, 우리 둘다 취업을 앞둔 (예비)사회초년생인지라, 우리가 직접 써보고 효용성을 느낄 수 있을 것 같아, 자기소개서 관련한 프로젝트를 진행해보기로 하였다. 2. 문제점 자..
연구 분야를 정하려고 논문을 보고 있는데, NID (New Intent Classification) 논문들을 계속 읽게 된다. 본 논문은 2022 ACL 학회에 수록된 논문이며, 주 저자는 Yuwei Zhang 이다.AbstractProblem기존의 방법들은 다량의 labeled data에 의존하거나 pseudo-labeling을 통한 clustering 방법을 사용하기 때문에 너무 label에 의존적이다. 본 연구에서는 NID 분야에 있어 다음 질문들에 대한 답을 얻고자 했다:어떻게 의미적 발화 표현을 학습시킬 수 있는지발화들을 어떻게 더 잘 clustering 할 지MethodMulti-task pre-training(MTP) 전략 사용representation learning을 위해 많은 양의 un..
지난번 A Probabilistic Framework for Discovering New Intents 논문을 읽고, 논문을 더 잘 이해하고자 해당 논문의 베이스가 되는 DeepAligned 논문을 읽게 되었다. Introduction우선 이 논문의 목적은 known intent로 labeled 된 data를 가지고 새로운 intent를 발견하는 것이다.이 작업을 수행하기 위해 기존에는 다음 두 가지 어려움이 있었다:1. 제한된 양의 known intents의 사전지식을 new intent에게 전달하기 어렵다.2. unlabeled known과 new intent를 둘다 clustering 하기 위해 친근한 표현을 학습하기 위한 높은 퀄리티의 supervised signal을 만들기 어렵다. 이에 대한 ..
이번 방학 때 NLP 관련 개념을 확실하게 잡고자 CS224N 강의를 수강해야겠다고 생각했다. CS~N 강의는 스탠포드에서 가르치는 CS 강의 종류인 것 같은데, 대표적으로는 머신/딥러닝 기초 강의인 CS231N이 있고, 나도 듣다가 말았었다..(너무 길어) 이 강의는 2년에 한번씩 업데이트되는 것 같은데, 나는 2021 Winter 강의를 수강했다. [유튜브 플레이리스트] 첫 강의의 주제는 사람의 언어와 단어 의미에 관한 내용이다. 흔히, 우리가 사용하는 단어들을 컴퓨터가 직관적으로 알아듣기는 어렵다. 이를 위해 단어들을 숫자로 이루어진 벡터들로 변환시켜주어야 한다. How to represent the meaning of the word? 그렇다면 단어의 의미를 어떻게 나타낼 수 있을까? 1. Wor..
