1. NER NER은 Named Entity Recognition의 약자로, 단어를 찾아 분류하고 카테고리화시키는 작업이다. 다음을 예시로 들어보자. 여기서 Paris라는 단어를 단어장에서 찾으면 프랑스의 파리가 찾아지지만, 본문에서는 사람 이름으로 사용되었다. 이렇듯, NER을 정확하게 파악하기 위해서는 항상 context를 고려해야 한다. 이걸 Neural Network으로 어떻게 할 수 있을까? Simple NER: Window classification using binary logistic classfier 먼저 아이디어는 word vectors를 이용해서 word vectors로 이루어진 context window를 만들고, 그걸 neural network layer에 넣고, logistic ..
지난번 기획 이후, 다양한 프롬프트를 사용하여 실험을 해 보아야겠다고 생각했다. 결과는 다음과 같다: 1. 실험 결과 1. Zero-shot: 질문 Q: 자기 소개 및 지원 동기에 대해 500자 내외로 답해줘. A: 안녕하세요, 제 이름은 [이름]이고, [나이]살입니다. 제가 이 자리에 서는 이유는 [지원 동기] 때문입니다. [지원 동기]에 대한 열정과 관심을 가지고 있고, 이 분야에서 경험과 역량을 쌓기 위해 노력하고자 합니다. [과거 경험 및 역량]을 통해 이 업무에 기여할 수 있는 능력을 갖추고 있으며, [지원 회사]에서 제 역량을 발휘하고 성장하고자 합니다. 제 지원을 고려해 주셔서 감사합니다. 2. Zero-shot: 질문+경험 Q: 아래 나의 경험을 참고하여 자기 소개 및 지원 동기에 대해 5..
이번 학기부터 1년간 학교에서 졸업 프로젝트를 하게 되었다. 빨리 이상한 기계공학과로부터 벗어나고 싶다. 1. 아이디어 대략적인 기획은 함께 프로젝트를 진행할 프론트엔드 파트너와 9월 초부터 준비했었다. 우리의 목표는 "일상의 문제를 해결하면서, 사람들이 잘 써보고 피드백을 받아볼 수 있는 NLP 기반의 웹 프로젝트를 만들자!" 였다. 우선 떠오른 아이디어는 다음 3개이다. 맞춤형 진로/학과 추천 서비스 학습 문서 기반 Q&A 생성 서비스 AI 기반 자기소개서 생성 서비스 그러나, 이들 중에 이미 위 2가지는 이미 서비스가 있기도 했고, 우리 둘다 취업을 앞둔 (예비)사회초년생인지라, 우리가 직접 써보고 효용성을 느낄 수 있을 것 같아, 자기소개서 관련한 프로젝트를 진행해보기로 하였다. 2. 문제점 자..
요즘 New Intent Discovery (NID) 태스크에 빠져있다. 지난번에 MTP-CLNN 논문을 읽고, "프롬프트로 발화에 대한 intent를 생성하고, 그걸 기반으로 clustering 하면 unsupervised 방식에 있어 좋은 평가를 받을 수 있을 것 같다"라는 생각으로 관련 논문들을 찾아보았다.그중, NLP4CONVAI@ACL 2023에 게재된 논문과 내가 생각한 아이디어가 일치하는 것이 있어 읽어보게 되었다.조금만 더 일찍 생각할걸AbstractMethod추상적인 summary에 기반한 utternace들을 clustering 하는 것이 기존의 intent discovery 방법들보다 뛰어날 수 있음IDAS: LLM에 prompting을 통해 발화의 label을 생성하는 방식으로 I..
