📚 스터디/CS224N

[CS224N] 2. Neural Classifiers

2023.08.02

CS224N 2번째 강의를 수강하고 정리 및 지식 공유를 위해 블로그를 쓴다. 참고로 본인은 2021 Winter 버전을 수강했다. Review: Main idea of Word2Vec & Negative Sampling 지난번 블로그에서 Word2Vec에 관해 정리했다. 간단하게 복기해 보자. 우선 Word2Vec에는 CBOW, Skip-gram이라는 두 가지 알고리즘이 쓰인다. 1. CBOW 맥락 벡터가 입력, 중심 벡터가 출력인 경우를 CBOW 알고리즘이라고 한다. CBOW의 전체적인 구조는 다음과 같다: 과정을 요약하자면, 1. 지정한 윈도우 크기의 2배 크기의 벡터가 one-hot encoding으로 표현되어 input으로 들어간다. 2. 각각의 input마다 첫 번째 가중치 W와 곱해지고, 그..

📚 스터디/CS224N

[CS224N] 1. Introduction and Word Vectors

2023.07.24

이번 방학 때 NLP 관련 개념을 확실하게 잡고자 CS224N 강의를 수강해야겠다고 생각했다. CS~N 강의는 스탠포드에서 가르치는 CS 강의 종류인 것 같은데, 대표적으로는 머신/딥러닝 기초 강의인 CS231N이 있고, 나도 듣다가 말았었다..(너무 길어) 이 강의는 2년에 한번씩 업데이트되는 것 같은데, 나는 2021 Winter 강의를 수강했다. [유튜브 플레이리스트] 첫 강의의 주제는 사람의 언어와 단어 의미에 관한 내용이다. 흔히, 우리가 사용하는 단어들을 컴퓨터가 직관적으로 알아듣기는 어렵다. 이를 위해 단어들을 숫자로 이루어진 벡터들로 변환시켜주어야 한다. How to represent the meaning of the word? 그렇다면 단어의 의미를 어떻게 나타낼 수 있을까? 1. Wor..

[CS224N] 2. Neural Classifiers

[CS224N] 1. Introduction and Word Vectors

티스토리툴바