Abstract dialogue agents에 대한 연구가 이어지는 가운데, 앞선 연구들은 페르소나 (persona)와 지식 (knowledge)을 내장된 데이터로부터 가져와 답변했다. 그러나 실제 세계에서 사람들이 대화할 때, 사람들은 준비된 후보 문장들을 가지고 답변하기보다는, 대화에 맞는 의미적 concept을 마음에 가지고 대화한다. 이런 대화 양식에 착안하여, 본 논문에서는 문장 후보들이 주어지지 않은 상황에서의 적응적 대화 시스템을 제안한다. 논문에서 제안한 모델은 단편적인 정보만을 가지고 일관적이고 관련 있는 persona 설명을 생성하며, 논리적인 답변을 위해 관련된 지식을 확인한다. Introduction 일반적인 대화에서는 대화 주제와 대화자를 기반으로 대화의 의미론적 개념을 마음에 품..
종강 후에 2023년 버전에 맞춰 새롭게 업데이트된 CS224N 강의를 수강 중이다. 확실히 요즘 강의들이 훨씬 더 최신 정보들도 많고, 그에 따라 강의의 질도 좋은 것 같다. 흘러가듯이 들었던 과거와는 다르게, 이번에는 중요한 정보들을 이해하고 다시 개념 확인차 블로그에 정리해보고 있다. 이번 글에서는 RNN의 도입부터 LSTM, Transformer까지 오게 된 과정과 각각의 모델들에 대해서 작성해 보았다. 위 모델에 대해서 들어만 보고 잘 알지는 못하신 분들에게 강추. 1. RNN Simple RNN 지난 글에서도 작성했다시피, RNN의 핵심은 같은 가중치 W를 반복하여 사용함으로써 스스로에게 피드백을 주는 방식이다. 기본적인 구조는 아래와 같다. Training RNN 그럼 이런 구조의 RNN은 ..
4번째 강의는 문장에 대한 분석 방법에 다룬다. 특히 Dependency Parsing 기법에 대해 설명하는데, 그동안의 방식들과 현대의 neural dependency parsing 방식에 대해 소개한다. 1. Two views of linguistic structure 문장의 구조를 파악하는 것은 두 가지가 있는데, 하나는 Constituency parsing, 다른 하나는 Dependency parsing이다. 간단하게 Consitituency parsing은 문장의 구성요소를 통해 문장 구조를 분석하는 방법이고, Dependency parsing은 단어 간 의존 관계를 통해 구조를 분석하는 방법이다. 조금 더 깊게 들어가 보자. 1. Constituency Parsing: Context-Free-..
1. NER NER은 Named Entity Recognition의 약자로, 단어를 찾아 분류하고 카테고리화시키는 작업이다. 다음을 예시로 들어보자. 여기서 Paris라는 단어를 단어장에서 찾으면 프랑스의 파리가 찾아지지만, 본문에서는 사람 이름으로 사용되었다. 이렇듯, NER을 정확하게 파악하기 위해서는 항상 context를 고려해야 한다. 이걸 Neural Network으로 어떻게 할 수 있을까? Simple NER: Window classification using binary logistic classfier 먼저 아이디어는 word vectors를 이용해서 word vectors로 이루어진 context window를 만들고, 그걸 neural network layer에 넣고, logistic ..
