'📚 스터디' 카테고리의 글 목록 (2 Page)

[CS224N] 2. Neural Classifiers

2023.08.02

CS224N 2번째 강의를 수강하고 정리 및 지식 공유를 위해 블로그를 쓴다. 참고로 본인은 2021 Winter 버전을 수강했다. Review: Main idea of Word2Vec & Negative Sampling 지난번 블로그에서 Word2Vec에 관해 정리했다. 간단하게 복기해 보자. 우선 Word2Vec에는 CBOW, Skip-gram이라는 두 가지 알고리즘이 쓰인다. 1. CBOW 맥락 벡터가 입력, 중심 벡터가 출력인 경우를 CBOW 알고리즘이라고 한다. CBOW의 전체적인 구조는 다음과 같다: 과정을 요약하자면, 1. 지정한 윈도우 크기의 2배 크기의 벡터가 one-hot encoding으로 표현되어 input으로 들어간다. 2. 각각의 input마다 첫 번째 가중치 W와 곱해지고, 그..

📚 스터디/NLP

[Word2Vec에 관하여] - CBOW, Skip-gram

2023.07.25

지난 CS224N 강의를 수강하고, Word2Vec에 관해 조금 더 개념을 확립하고자 공부하게 되었다. 이번 블로그는 위키독스 를 참고하여 만들었다. Word2Vec word2vec은 word vector들의 학습을 위해 만들어진 프레임워크이다. 해당 프레임워크의 핵심은 text를 컴퓨터가 인식할 수 있도록 숫자 형태의 vector 또는 행렬로 변환하는 것이다. 이는 대부분 대표적으로 다음 두 가지 과정으로 이루어진다: One Hot Encoding (Sparse representation) Word Embedding (Dense representation) One Hot Encoding은 단어 벡터가 0 또는 1의 값으로 구성되어 과정이 단순하다는 장점이 있지만, 큰 차원이 필요하다는 점과, 단어 관계..

📚 스터디/CS224N

[CS224N] 1. Introduction and Word Vectors

2023.07.24

이번 방학 때 NLP 관련 개념을 확실하게 잡고자 CS224N 강의를 수강해야겠다고 생각했다. CS~N 강의는 스탠포드에서 가르치는 CS 강의 종류인 것 같은데, 대표적으로는 머신/딥러닝 기초 강의인 CS231N이 있고, 나도 듣다가 말았었다..(너무 길어) 이 강의는 2년에 한번씩 업데이트되는 것 같은데, 나는 2021 Winter 강의를 수강했다. [유튜브 플레이리스트] 첫 강의의 주제는 사람의 언어와 단어 의미에 관한 내용이다. 흔히, 우리가 사용하는 단어들을 컴퓨터가 직관적으로 알아듣기는 어렵다. 이를 위해 단어들을 숫자로 이루어진 벡터들로 변환시켜주어야 한다. How to represent the meaning of the word? 그렇다면 단어의 의미를 어떻게 나타낼 수 있을까? 1. Wor..

📚 스터디/NLP

[NLP-스터디] RNN에 관하여

2023.06.29

요즘 NLP와 전반적인 딥러닝에 대한 공부를 하는 중이다. Transformer 모델이 너무 유명해서, 어쩌다 보니 Transformer의 attention 메커니즘이 사용된 모델들부터 공부하게 됐는데, 논문에서 이전 모델들에 대한 지식이 많이 쓰이는 것을 보고 아예 오래전 모델부터 공부해보고자 한다. (사실 hidden state과 back propagation 등에 관한 정확한 지식이 없어서, 이 부분에 대한 개념을 잡고 가야겠다고 생각했다.) 그리하여 이번에는 RNN의 개념을 집중해서 다뤄보고자 한다. 사실 LSTM 논문을 봤는데 정말 말도 안되는 수식들이 많았고, 이해하기가 너어무 어려워서 공부해야 겠다고 생각했다... 참고: [바람돌이/딥러닝] RNN(Recurrent Neural Networ..

[CS224N] 2. Neural Classifiers

[Word2Vec에 관하여] - CBOW, Skip-gram

[CS224N] 1. Introduction and Word Vectors

[NLP-스터디] RNN에 관하여

티스토리툴바