'📚 스터디/NLP' 카테고리의 글 목록

[Word2Vec에 관하여] - CBOW, Skip-gram

2023.07.25

지난 CS224N 강의를 수강하고, Word2Vec에 관해 조금 더 개념을 확립하고자 공부하게 되었다. 이번 블로그는 위키독스 를 참고하여 만들었다. Word2Vec word2vec은 word vector들의 학습을 위해 만들어진 프레임워크이다. 해당 프레임워크의 핵심은 text를 컴퓨터가 인식할 수 있도록 숫자 형태의 vector 또는 행렬로 변환하는 것이다. 이는 대부분 대표적으로 다음 두 가지 과정으로 이루어진다: One Hot Encoding (Sparse representation) Word Embedding (Dense representation) One Hot Encoding은 단어 벡터가 0 또는 1의 값으로 구성되어 과정이 단순하다는 장점이 있지만, 큰 차원이 필요하다는 점과, 단어 관계..

📚 스터디/NLP

[NLP-스터디] RNN에 관하여

2023.06.29

요즘 NLP와 전반적인 딥러닝에 대한 공부를 하는 중이다. Transformer 모델이 너무 유명해서, 어쩌다 보니 Transformer의 attention 메커니즘이 사용된 모델들부터 공부하게 됐는데, 논문에서 이전 모델들에 대한 지식이 많이 쓰이는 것을 보고 아예 오래전 모델부터 공부해보고자 한다. (사실 hidden state과 back propagation 등에 관한 정확한 지식이 없어서, 이 부분에 대한 개념을 잡고 가야겠다고 생각했다.) 그리하여 이번에는 RNN의 개념을 집중해서 다뤄보고자 한다. 사실 LSTM 논문을 봤는데 정말 말도 안되는 수식들이 많았고, 이해하기가 너어무 어려워서 공부해야 겠다고 생각했다... 참고: [바람돌이/딥러닝] RNN(Recurrent Neural Networ..

📚 스터디/NLP

[텍스트마이닝] 2-2. 문서 유사도 - 스타벅스 네이버 문서 유사도 구하기

2023.06.19

지난번에 배운 BoW, DTM, TF-IDF, 유클리디안 유사도, 코사인 유사도를 활용하여 직접 크롤링한 '스타벅스' 관련 기사 데이터셋으로 문서 유사도를 구하는 실습을 진행해 보았다. 자세한 코드들은 깃허브를 참고하길 바란다. 1. 데이터 확인 및 전처리 데이터를 df라는 변수에 저장하고 확인해 보았다. df.head() 제목 언론사 날짜 URL 네이버뉴스_URL 오늘(1/1) 코스트코 정상영업, 지점별 1월 휴무일·영업시간 '확인하세요' 핀포인트뉴스 2023.01.01. http://www.pinpointnews.co.kr/news/articleView... NaN 호랑이 가고 검은 토끼 온다…유통가 ‘토끼 마케팅’ 활발 인더뉴스 2023.01.01. https://www.inthenews.co.kr..

📚 스터디/NLP

[텍스트마이닝] 2-1. 텍스트 표현과 문서 유사도

2023.06.19

텍스트마이닝 스터디 두 번째 주차에는 BoW와 N-gram, TF-IDF, Euclidian Distance와 Cosine Similarity 등에 관해 학습했다. 자세한 코드들은 깃허브 참고하길 바란다. 1. 텍스트를 숫자로 표현하는 방법 텍스틀을 숫자로 표현하는 방법에는 국소 표현과 연속 표현이 있다. 국소 표현에는 BoW, N-gram, One-hot Vector이 포함되며, 연속 표현에는 LSA, Word2Vec, Glove 등이 포함된다. 이 중, 국소 표현인 BoW에 대해 중점적으로 학습했다. 2. Bow BoW란, Bag of Words의 약자로, 단어의 등장 순서를 고려하지 않는 빈도수 기반의 단어 표현 방법이다. BoW는 다음 두 가지 특징을 지닌다: 각 단어에 고유한 정수 인덱스를 부여..

[Word2Vec에 관하여] - CBOW, Skip-gram

[NLP-스터디] RNN에 관하여

[텍스트마이닝] 2-2. 문서 유사도 - 스타벅스 네이버 문서 유사도 구하기

[텍스트마이닝] 2-1. 텍스트 표현과 문서 유사도

티스토리툴바