'📚 스터디/CS224N' 카테고리의 글 목록

[CS224N] 6, 7, 8. RNN, LSTM, Seq2seq, Attention & Transformers

2023.12.30

종강 후에 2023년 버전에 맞춰 새롭게 업데이트된 CS224N 강의를 수강 중이다. 확실히 요즘 강의들이 훨씬 더 최신 정보들도 많고, 그에 따라 강의의 질도 좋은 것 같다. 흘러가듯이 들었던 과거와는 다르게, 이번에는 중요한 정보들을 이해하고 다시 개념 확인차 블로그에 정리해보고 있다. 이번 글에서는 RNN의 도입부터 LSTM, Transformer까지 오게 된 과정과 각각의 모델들에 대해서 작성해 보았다. 위 모델에 대해서 들어만 보고 잘 알지는 못하신 분들에게 강추. 1. RNN Simple RNN 지난 글에서도 작성했다시피, RNN의 핵심은 같은 가중치 W를 반복하여 사용함으로써 스스로에게 피드백을 주는 방식이다. 기본적인 구조는 아래와 같다. Training RNN 그럼 이런 구조의 RNN은 ..

📚 스터디/CS224N

[CS224N] 5. Language Models and Recurrent Neural Networks

2023.11.20

저번 글에서는 dependency parser의 역사와 neural net을 이용해 dependency parser를 구축하는 방법, 그리고 neural net의 regularization에 대해 간단히 다루었다. 이번 글에서는 Language Modeling에 대해 간단히 다뤄본 후, RNN의 기초에 대해 설명한다. 1. Language Modeling Language Modeling이란, 어떤 단어가 다음에 나올지 예측하는 태스크를 뜻한다. 즉, context에 대해 단어가 주어지면 다음 단어를 예측하는 것이다. 이걸 좀 수식을 곁들여 말해보면, 다음과 같다: 단어 x1, x2, .., xt에 대해 x(t+1)의 확률 분포를 계산하는 것이다. 확률로 표현하면 다음과 같다: Language Model..

📚 스터디/CS224N

[CS224N] 4. Syntactic Structure and Dependency Parsing

2023.11.18

4번째 강의는 문장에 대한 분석 방법에 다룬다. 특히 Dependency Parsing 기법에 대해 설명하는데, 그동안의 방식들과 현대의 neural dependency parsing 방식에 대해 소개한다. 1. Two views of linguistic structure 문장의 구조를 파악하는 것은 두 가지가 있는데, 하나는 Constituency parsing, 다른 하나는 Dependency parsing이다. 간단하게 Consitituency parsing은 문장의 구성요소를 통해 문장 구조를 분석하는 방법이고, Dependency parsing은 단어 간 의존 관계를 통해 구조를 분석하는 방법이다. 조금 더 깊게 들어가 보자. 1. Constituency Parsing: Context-Free-..

📚 스터디/CS224N

[CS224N] 3. Natural Language Processing with Deep Learning

2023.11.14

1. NER NER은 Named Entity Recognition의 약자로, 단어를 찾아 분류하고 카테고리화시키는 작업이다. 다음을 예시로 들어보자. 여기서 Paris라는 단어를 단어장에서 찾으면 프랑스의 파리가 찾아지지만, 본문에서는 사람 이름으로 사용되었다. 이렇듯, NER을 정확하게 파악하기 위해서는 항상 context를 고려해야 한다. 이걸 Neural Network으로 어떻게 할 수 있을까? Simple NER: Window classification using binary logistic classfier 먼저 아이디어는 word vectors를 이용해서 word vectors로 이루어진 context window를 만들고, 그걸 neural network layer에 넣고, logistic ..

[CS224N] 6, 7, 8. RNN, LSTM, Seq2seq, Attention & Transformers

[CS224N] 5. Language Models and Recurrent Neural Networks

[CS224N] 4. Syntactic Structure and Dependency Parsing

[CS224N] 3. Natural Language Processing with Deep Learning

티스토리툴바