종강 후에 2023년 버전에 맞춰 새롭게 업데이트된 CS224N 강의를 수강 중이다. 확실히 요즘 강의들이 훨씬 더 최신 정보들도 많고, 그에 따라 강의의 질도 좋은 것 같다. 흘러가듯이 들었던 과거와는 다르게, 이번에는 중요한 정보들을 이해하고 다시 개념 확인차 블로그에 정리해보고 있다. 이번 글에서는 RNN의 도입부터 LSTM, Transformer까지 오게 된 과정과 각각의 모델들에 대해서 작성해 보았다. 위 모델에 대해서 들어만 보고 잘 알지는 못하신 분들에게 강추. 1. RNN Simple RNN 지난 글에서도 작성했다시피, RNN의 핵심은 같은 가중치 W를 반복하여 사용함으로써 스스로에게 피드백을 주는 방식이다. 기본적인 구조는 아래와 같다. Training RNN 그럼 이런 구조의 RNN은 ..
드디어 기말고사가 끝났다..어쩌면 여유로웠고, 어쩌면 힘들었던 한 학기였던 것 같다. 이제 개발해야지. RAG의 도입 지난번에는 프롬프트를 실험해본 결과를 기록했다. 그 결과, 3-shot 프롬프트가 가장 좋은 퍼포먼스를 보였다. 해당 결과를 기반으로, 나는 RAG 기법을 이용해야겠다고 생각했다. RAG는 Retrieval Augmented Generation의 약자로, 다음 그림과 같은 3단계로 구성돼 있다. Retrieve 먼저 Retrieve 단계에서는 query를 embedding 한 후, vectorDB로부터 유사성이 높은 context를 가져오는 과정이다. 주로 책 안의 내용을 챗봇에게 질문하고자 할 때, 책 내용을 pdf로 만들어 첨부하고, 질문하는 내용에 대해 Retrieve 과정을 거쳐 ..
저번 글에서는 dependency parser의 역사와 neural net을 이용해 dependency parser를 구축하는 방법, 그리고 neural net의 regularization에 대해 간단히 다루었다. 이번 글에서는 Language Modeling에 대해 간단히 다뤄본 후, RNN의 기초에 대해 설명한다. 1. Language Modeling Language Modeling이란, 어떤 단어가 다음에 나올지 예측하는 태스크를 뜻한다. 즉, context에 대해 단어가 주어지면 다음 단어를 예측하는 것이다. 이걸 좀 수식을 곁들여 말해보면, 다음과 같다: 단어 x1, x2, .., xt에 대해 x(t+1)의 확률 분포를 계산하는 것이다. 확률로 표현하면 다음과 같다: Language Model..
4번째 강의는 문장에 대한 분석 방법에 다룬다. 특히 Dependency Parsing 기법에 대해 설명하는데, 그동안의 방식들과 현대의 neural dependency parsing 방식에 대해 소개한다. 1. Two views of linguistic structure 문장의 구조를 파악하는 것은 두 가지가 있는데, 하나는 Constituency parsing, 다른 하나는 Dependency parsing이다. 간단하게 Consitituency parsing은 문장의 구성요소를 통해 문장 구조를 분석하는 방법이고, Dependency parsing은 단어 간 의존 관계를 통해 구조를 분석하는 방법이다. 조금 더 깊게 들어가 보자. 1. Constituency Parsing: Context-Free-..
