티스토리

youngjangjoon

검색하기

블로그 홈

youngjangjoon

yjoonjang.tistory.com/m

groomielife

구독자: 3

방명록 방문하기

공지 블로그 이전 공지 모두보기

주요 글 목록

[RESUMAI] 6. 서비스 개발 시작 - DRF 카카오 소셜로그인, 이것만 보면 한번에 끝!! 지난번까지 데모를 마치고, 이제 제대로 RESUMAI 서비스를 개발하기 시작했다. 핵심 아이디어는 이전에 데모에서 보여준 아이디어로, 백엔드 개발을 본격적으로 시작하게 되었다.본 프로젝트는 Django Rest Framework (DRF)로 개발하였으며, 프론트엔드는 React를 사용했다. (나는 백엔드 개발만 맡았다.)본 글은 DRF로 카카오 소셜로그인을 구현하며 겪었던 어려움을 모두 담았다. 아마 DRF로 처음 소셜로그인을 개발해보려는 사람들도 본 글만 보면 원하는 기능을 모두 구현할 수 있을 것이다 !! 1. Models카카오 로그인을 구현하기에 앞서 먼저 user model을 정의해야 한다. 사실 이 model은 프로젝트마다 다르기 때문에, 기본적인 것들을 제외하면 개발자가 따로 customize.. 공감수 0 댓글수 0 2024. 5. 25.
Beyond Candidates: Adaptive Dialogue Agent Utilizing Persona and Knowledge Abstract dialogue agents에 대한 연구가 이어지는 가운데, 앞선 연구들은 페르소나 (persona)와 지식 (knowledge)을 내장된 데이터로부터 가져와 답변했다. 그러나 실제 세계에서 사람들이 대화할 때, 사람들은 준비된 후보 문장들을 가지고 답변하기보다는, 대화에 맞는 의미적 concept을 마음에 가지고 대화한다. 이런 대화 양식에 착안하여, 본 논문에서는 문장 후보들이 주어지지 않은 상황에서의 적응적 대화 시스템을 제안한다. 논문에서 제안한 모델은 단편적인 정보만을 가지고 일관적이고 관련 있는 persona 설명을 생성하며, 논리적인 답변을 위해 관련된 지식을 확인한다. Introduction 일반적인 대화에서는 대화 주제와 대화자를 기반으로 대화의 의미론적 개념을 마음에 품.. 공감수 0 댓글수 0 2024. 1. 6.
[RESUMAI] 5. 자기소개서 생성 데모 서비스 지난 글에서 작업한 것을 바탕으로, 데모 서비스를 만들었다. 이번 글은 해당 데모를 만들 때의 기록이다. 1. RAG 과정 구현 지난번에는 pinecone에 벡터 데이터를 저장하는 작업까지 완료했으니, 이제는 내가 작성한 글과 유사도가 높은 k개의 항목을 가져와, 프롬프트에 예시로 넣어, 새로운 자기소개서를 생성하는 일만 남았다. 1. Retrieve 먼저, query를 embedding 하고, pinecone에서 유사한 3개의 항목을 가져온다. 코드는 다음과 같다. if st.button("생성하기!"): pinecone.init(api_key=st.secrets["PINECONE_API_KEY"], environment="gcp-starter") index = pinecone.Index("resuma.. 공감수 0 댓글수 1 2024. 1. 3.
[RESUMAI] 4. 데이터 크롤링과 vectorDB 저장 GITHUB GitHub - resum-ai/resume-crawler: Resumai의 크롤러 코드를 작성한 레포지토리입니다. Resumai의 크롤러 코드를 작성한 레포지토리입니다. Contribute to resum-ai/resume-crawler development by creating an account on GitHub. github.com 지난 글에 이어 데이터를 모두 크롤링하고, pinecone에 저장하는 작업을 진행했다. 사실 어떤 DB를 사용할까 고민했던 이유는, vectorDB에 vector만 저장할 수 있는 줄 알았기 때문이었다. 하지만 찾아보니, 정말 다행스럽게도 metadata로 string, integer, bool 정도의 기본 데이터를 저장할 수 있다는 것을 알게 되었다. 그.. 공감수 0 댓글수 1 2024. 1. 2.
[CS224N] 6, 7, 8. RNN, LSTM, Seq2seq, Attention & Transformers 종강 후에 2023년 버전에 맞춰 새롭게 업데이트된 CS224N 강의를 수강 중이다. 확실히 요즘 강의들이 훨씬 더 최신 정보들도 많고, 그에 따라 강의의 질도 좋은 것 같다. 흘러가듯이 들었던 과거와는 다르게, 이번에는 중요한 정보들을 이해하고 다시 개념 확인차 블로그에 정리해보고 있다. 이번 글에서는 RNN의 도입부터 LSTM, Transformer까지 오게 된 과정과 각각의 모델들에 대해서 작성해 보았다. 위 모델에 대해서 들어만 보고 잘 알지는 못하신 분들에게 강추. 1. RNN Simple RNN 지난 글에서도 작성했다시피, RNN의 핵심은 같은 가중치 W를 반복하여 사용함으로써 스스로에게 피드백을 주는 방식이다. 기본적인 구조는 아래와 같다. Training RNN 그럼 이런 구조의 RNN은 .. 공감수 1 댓글수 1 2023. 12. 30.
[RESUMAI] 3. RAG의 도입과 자기소개서 크롤링 드디어 기말고사가 끝났다..어쩌면 여유로웠고, 어쩌면 힘들었던 한 학기였던 것 같다. 이제 개발해야지. RAG의 도입 지난번에는 프롬프트를 실험해본 결과를 기록했다. 그 결과, 3-shot 프롬프트가 가장 좋은 퍼포먼스를 보였다. 해당 결과를 기반으로, 나는 RAG 기법을 이용해야겠다고 생각했다. RAG는 Retrieval Augmented Generation의 약자로, 다음 그림과 같은 3단계로 구성돼 있다. Retrieve 먼저 Retrieve 단계에서는 query를 embedding 한 후, vectorDB로부터 유사성이 높은 context를 가져오는 과정이다. 주로 책 안의 내용을 챗봇에게 질문하고자 할 때, 책 내용을 pdf로 만들어 첨부하고, 질문하는 내용에 대해 Retrieve 과정을 거쳐 .. 공감수 0 댓글수 1 2023. 12. 21.
[CS224N] 5. Language Models and Recurrent Neural Networks 저번 글에서는 dependency parser의 역사와 neural net을 이용해 dependency parser를 구축하는 방법, 그리고 neural net의 regularization에 대해 간단히 다루었다. 이번 글에서는 Language Modeling에 대해 간단히 다뤄본 후, RNN의 기초에 대해 설명한다. 1. Language Modeling Language Modeling이란, 어떤 단어가 다음에 나올지 예측하는 태스크를 뜻한다. 즉, context에 대해 단어가 주어지면 다음 단어를 예측하는 것이다. 이걸 좀 수식을 곁들여 말해보면, 다음과 같다: 단어 x1, x2, .., xt에 대해 x(t+1)의 확률 분포를 계산하는 것이다. 확률로 표현하면 다음과 같다: Language Model.. 공감수 0 댓글수 2 2023. 11. 20.
[CS224N] 4. Syntactic Structure and Dependency Parsing 4번째 강의는 문장에 대한 분석 방법에 다룬다. 특히 Dependency Parsing 기법에 대해 설명하는데, 그동안의 방식들과 현대의 neural dependency parsing 방식에 대해 소개한다. 1. Two views of linguistic structure 문장의 구조를 파악하는 것은 두 가지가 있는데, 하나는 Constituency parsing, 다른 하나는 Dependency parsing이다. 간단하게 Consitituency parsing은 문장의 구성요소를 통해 문장 구조를 분석하는 방법이고, Dependency parsing은 단어 간 의존 관계를 통해 구조를 분석하는 방법이다. 조금 더 깊게 들어가 보자. 1. Constituency Parsing: Context-Free-.. 공감수 0 댓글수 0 2023. 11. 18.
[CS224N] 3. Natural Language Processing with Deep Learning 1. NER NER은 Named Entity Recognition의 약자로, 단어를 찾아 분류하고 카테고리화시키는 작업이다. 다음을 예시로 들어보자. 여기서 Paris라는 단어를 단어장에서 찾으면 프랑스의 파리가 찾아지지만, 본문에서는 사람 이름으로 사용되었다. 이렇듯, NER을 정확하게 파악하기 위해서는 항상 context를 고려해야 한다. 이걸 Neural Network으로 어떻게 할 수 있을까? Simple NER: Window classification using binary logistic classfier 먼저 아이디어는 word vectors를 이용해서 word vectors로 이루어진 context window를 만들고, 그걸 neural network layer에 넣고, logistic .. 공감수 0 댓글수 1 2023. 11. 14.
[RESUMAI] 2. 프롬프트 실험 지난번 기획 이후, 다양한 프롬프트를 사용하여 실험을 해 보아야겠다고 생각했다. 결과는 다음과 같다: 1. 실험 결과 1. Zero-shot: 질문 Q: 자기 소개 및 지원 동기에 대해 500자 내외로 답해줘. A: 안녕하세요, 제 이름은 [이름]이고, [나이]살입니다. 제가 이 자리에 서는 이유는 [지원 동기] 때문입니다. [지원 동기]에 대한 열정과 관심을 가지고 있고, 이 분야에서 경험과 역량을 쌓기 위해 노력하고자 합니다. [과거 경험 및 역량]을 통해 이 업무에 기여할 수 있는 능력을 갖추고 있으며, [지원 회사]에서 제 역량을 발휘하고 성장하고자 합니다. 제 지원을 고려해 주셔서 감사합니다. 2. Zero-shot: 질문+경험 Q: 아래 나의 경험을 참고하여 자기 소개 및 지원 동기에 대해 5.. 공감수 0 댓글수 2 2023. 11. 12.
[RESUMAI] 1. 썰로 만드는 자소서의 시작 / 기획 이번 학기부터 1년간 학교에서 졸업 프로젝트를 하게 되었다. 빨리 이상한 기계공학과로부터 벗어나고 싶다. 1. 아이디어 대략적인 기획은 함께 프로젝트를 진행할 프론트엔드 파트너와 9월 초부터 준비했었다. 우리의 목표는 "일상의 문제를 해결하면서, 사람들이 잘 써보고 피드백을 받아볼 수 있는 NLP 기반의 웹 프로젝트를 만들자!" 였다. 우선 떠오른 아이디어는 다음 3개이다. 맞춤형 진로/학과 추천 서비스 학습 문서 기반 Q&A 생성 서비스 AI 기반 자기소개서 생성 서비스 그러나, 이들 중에 이미 위 2가지는 이미 서비스가 있기도 했고, 우리 둘다 취업을 앞둔 (예비)사회초년생인지라, 우리가 직접 써보고 효용성을 느낄 수 있을 것 같아, 자기소개서 관련한 프로젝트를 진행해보기로 하였다. 2. 문제점 자.. 공감수 0 댓글수 0 2023. 11. 3.
IDAS: Intent Discovery with Abstractive Summarization 요즘 New Intent Discovery (NID) 태스크에 빠져있다. 지난번에 MTP-CLNN 논문을 읽고, "프롬프트로 발화에 대한 intent를 생성하고, 그걸 기반으로 clustering 하면 unsupervised 방식에 있어 좋은 평가를 받을 수 있을 것 같다"라는 생각으로 관련 논문들을 찾아보았다.그중, NLP4CONVAI@ACL 2023에 게재된 논문과 내가 생각한 아이디어가 일치하는 것이 있어 읽어보게 되었다.조금만 더 일찍 생각할걸AbstractMethod추상적인 summary에 기반한 utternace들을 clustering 하는 것이 기존의 intent discovery 방법들보다 뛰어날 수 있음IDAS: LLM에 prompting을 통해 발화의 label을 생성하는 방식으로 I.. 공감수 0 댓글수 2 2023. 10. 10.
New Intent Discovery with Pre-training and Contrastive Learning 연구 분야를 정하려고 논문을 보고 있는데, NID (New Intent Classification) 논문들을 계속 읽게 된다. 본 논문은 2022 ACL 학회에 수록된 논문이며, 주 저자는 Yuwei Zhang 이다.AbstractProblem기존의 방법들은 다량의 labeled data에 의존하거나 pseudo-labeling을 통한 clustering 방법을 사용하기 때문에 너무 label에 의존적이다. 본 연구에서는 NID 분야에 있어 다음 질문들에 대한 답을 얻고자 했다:어떻게 의미적 발화 표현을 학습시킬 수 있는지발화들을 어떻게 더 잘 clustering 할 지MethodMulti-task pre-training(MTP) 전략 사용representation learning을 위해 많은 양의 un.. 공감수 0 댓글수 0 2023. 9. 30.
Two Birds One Stone: Dynamic Ensemble for OOD Intent Classification 지난번 DeepAligned Clustering 논문에 이어 이번에는 OOD intent classification에 관한 논문을 읽었다.본 논문은 2023년도 ACL 학회에 수록된 논문이며, 지난번 저자와 같은 Xipeng Qiu 가 저자로 참여했다.AbstractTODS에서 OOD intent classification은 정말 활발하게 연구되는 주제이다. 이 분야에서는 2가지를 요구하는데,바로 모델이 '무엇을 아는가'와 '모델이 무엇을 알지 못하는가'이다.본 논문에서는 open-world scenario에서의 overthinking과 OOD intent classification 분야에서 그것의 영향력에 대해 탐구한다.결과적으로, 이 모델은 추론 과정에서 OOD classification을 일찍 마무.. 공감수 0 댓글수 0 2023. 8. 28.
Discovering New Intents with Deep Aligned Clustering 지난번 A Probabilistic Framework for Discovering New Intents 논문을 읽고, 논문을 더 잘 이해하고자 해당 논문의 베이스가 되는 DeepAligned 논문을 읽게 되었다. Introduction우선 이 논문의 목적은 known intent로 labeled 된 data를 가지고 새로운 intent를 발견하는 것이다.이 작업을 수행하기 위해 기존에는 다음 두 가지 어려움이 있었다:1. 제한된 양의 known intents의 사전지식을 new intent에게 전달하기 어렵다.2. unlabeled known과 new intent를 둘다 clustering 하기 위해 친근한 표현을 학습하기 위한 높은 퀄리티의 supervised signal을 만들기 어렵다. 이에 대한 .. 공감수 0 댓글수 0 2023. 8. 16.
[CS224N] 2. Neural Classifiers CS224N 2번째 강의를 수강하고 정리 및 지식 공유를 위해 블로그를 쓴다. 참고로 본인은 2021 Winter 버전을 수강했다. Review: Main idea of Word2Vec & Negative Sampling 지난번 블로그에서 Word2Vec에 관해 정리했다. 간단하게 복기해 보자. 우선 Word2Vec에는 CBOW, Skip-gram이라는 두 가지 알고리즘이 쓰인다. 1. CBOW 맥락 벡터가 입력, 중심 벡터가 출력인 경우를 CBOW 알고리즘이라고 한다. CBOW의 전체적인 구조는 다음과 같다: 과정을 요약하자면, 1. 지정한 윈도우 크기의 2배 크기의 벡터가 one-hot encoding으로 표현되어 input으로 들어간다. 2. 각각의 input마다 첫 번째 가중치 W와 곱해지고, 그.. 공감수 0 댓글수 0 2023. 8. 2.
A Probabilistic Framework for Discovering New Intents chatGPT 때문인지, 요즘 대화형 시스템에 관심이 정말 많다.그중, task-oriented dialogue system에 대해 연구를 하게 되었다.Task-oriented dialogue system를 주제로 리서치를 해보니, intent detection (의도 감지)가 해당 주제에서 중요한 task라는 것을 알았다. 그럴 만도 한 것이, task-oriented 챗봇은 특정 작업을 수행하기 위해 설계된 시스템인데, 작업을 수행하기 위해서는 그 작업이 무엇에 관한 것인지 등 의도를 먼저 아는 것이 중요하기 때문이다.그리하여 나는 정말 최근에 ACL에 수록된 A Probabilistic Framework for Discovering New Intents 라는 논문으로 연구를 시작하게 되었다. 이렇.. 공감수 0 댓글수 0 2023. 7. 27.
[Word2Vec에 관하여] - CBOW, Skip-gram 지난 CS224N 강의를 수강하고, Word2Vec에 관해 조금 더 개념을 확립하고자 공부하게 되었다. 이번 블로그는 위키독스 를 참고하여 만들었다. Word2Vec word2vec은 word vector들의 학습을 위해 만들어진 프레임워크이다. 해당 프레임워크의 핵심은 text를 컴퓨터가 인식할 수 있도록 숫자 형태의 vector 또는 행렬로 변환하는 것이다. 이는 대부분 대표적으로 다음 두 가지 과정으로 이루어진다: One Hot Encoding (Sparse representation) Word Embedding (Dense representation) One Hot Encoding은 단어 벡터가 0 또는 1의 값으로 구성되어 과정이 단순하다는 장점이 있지만, 큰 차원이 필요하다는 점과, 단어 관계.. 공감수 1 댓글수 0 2023. 7. 25.
[CS224N] 1. Introduction and Word Vectors 이번 방학 때 NLP 관련 개념을 확실하게 잡고자 CS224N 강의를 수강해야겠다고 생각했다. CS~N 강의는 스탠포드에서 가르치는 CS 강의 종류인 것 같은데, 대표적으로는 머신/딥러닝 기초 강의인 CS231N이 있고, 나도 듣다가 말았었다..(너무 길어) 이 강의는 2년에 한번씩 업데이트되는 것 같은데, 나는 2021 Winter 강의를 수강했다. [유튜브 플레이리스트] 첫 강의의 주제는 사람의 언어와 단어 의미에 관한 내용이다. 흔히, 우리가 사용하는 단어들을 컴퓨터가 직관적으로 알아듣기는 어렵다. 이를 위해 단어들을 숫자로 이루어진 벡터들로 변환시켜주어야 한다. How to represent the meaning of the word? 그렇다면 단어의 의미를 어떻게 나타낼 수 있을까? 1. Wor.. 공감수 0 댓글수 0 2023. 7. 24.
USTORY: Unsupervised Story Discovery from Continuous News Streams via Scalable Thematic Embedding 얼마 전, 텍스트마이닝 공부를 하면서 네이버 기사들을 크롤링하여 군집화하는 작업을 진행해보았다.해당 작업에서는 코사인 유사도를 구해서 특정 threshold (ex. 0.5)를 기준으로, 해당 threshold를 넘으면 같은 기사로 분류하고,아니면 다른 기사로 분류하는 작업을 진행했었다. (https://yjoonjang.tistory.com/7)이런 실습은 정말 재미있었음과 동시에, '실제로도 이렇게 간단하게 cosine similarity만을 고려해서 군집화 할까?' 라는 의문을 제기했다 .이에 리서치 해보던 중 이 논문을 읽게 되었는데, 내용이 상당히 흥미로웠다.이번에도 자세히 읽었으니, 읽은 흔적을 첨부해본다.Abstract뉴스 기사에 있어서, 기사의 모든 정보를 무분별하게 인코딩하는 단순 모델.. 공감수 0 댓글수 0 2023. 7. 11.
[토이프로젝트-공감 챗봇] 프로젝트 개요 이번에 NLP를 주제로 작은 토이 프로젝트를 진행했는데, 자신의 심리를 작성하면 그것에 공감해 주거나 상담해 주는 챗봇을 만들어봤다. 참고자료: https://wikidocs.net/157001 https://hoit1302.tistory.com/162#[1]kogpt2%EA%B8%B0%EB%B0%98%EC%8B%AC%EB%A6%AC%EC%BC%80%EC%96%B4%EC%B1%97%EB%B4%87 본 프로젝트는 skt의 생성 모델, KoGPT2를 fine-tuning 하여 사용했으며, 데이터셋은 유명한 송영숙 님의 챗봇 데이터셋을 사용했다. 자세한 코드는 깃허브를 참고하면 좋을 것 같다. 1. 데이터 전처리 우선 사용한 데이터를 df에 저장하고 df.head()를 실행해 보면 다음과 같다: 여기서 lab.. 공감수 0 댓글수 0 2023. 7. 5.
[NLP-스터디] RNN에 관하여 요즘 NLP와 전반적인 딥러닝에 대한 공부를 하는 중이다. Transformer 모델이 너무 유명해서, 어쩌다 보니 Transformer의 attention 메커니즘이 사용된 모델들부터 공부하게 됐는데, 논문에서 이전 모델들에 대한 지식이 많이 쓰이는 것을 보고 아예 오래전 모델부터 공부해보고자 한다. (사실 hidden state과 back propagation 등에 관한 정확한 지식이 없어서, 이 부분에 대한 개념을 잡고 가야겠다고 생각했다.) 그리하여 이번에는 RNN의 개념을 집중해서 다뤄보고자 한다. 사실 LSTM 논문을 봤는데 정말 말도 안되는 수식들이 많았고, 이해하기가 너어무 어려워서 공부해야 겠다고 생각했다... 참고: [바람돌이/딥러닝] RNN(Recurrent Neural Networ.. 공감수 2 댓글수 1 2023. 6. 29.
CLICK: Constrastive Learning for Injecting Contextual Knowledge to Conversational Recommender System 요즘 대화형 챗봇에 관심이 많다.그런데 chatGPT와 대화를 해 보았을 때, 내가 좋아하는 것이 뭔지 딱 알려주지 않으면 제대로 파악 못하는 경우가 엄청 많다.이에 대화만으로 나의 선호도를 파악하는 챗봇은 없을까? 관련해서 신박한 알고리즘은 없을까? 에 대해 생각해 보았고, 위 논문을 접하게 됐다. 자세히, 열심히 읽었으니, 읽은 흔적을 첨부해야겠다. (필기 많음 주의)Abstract현존하는 대화형 추천 시스템 (Conversational Recommender Systems. 줄여서 CRS라고 부르더라.)은 대화만으로 전체적인 유저 선호도를 알지 못한다. 선호하는 item이 대화에서 나오지 않는다면, 유저 선호도를 분석하는 것에 있어서 어려움이 있는 것이다.이에 해당 논문은 CLICK을 제안한다. CL.. 공감수 1 댓글수 0 2023. 6. 26.
[DeepLook] 6. 최종 결과물, 이후 에러 핸들링과 마무리 최종 배포 링크 https://deep-look.vercel.app 에러 핸들링 백엔드에 연결을 마쳤을 때쯤, 백엔드와 프론트엔드 작업이 모두 완료되었다. 그러나, 모델에 사진을 업로드 하는 부분에서 계속 잘 업로드가 되지 않아 다음과 같은 에러들이 발생했다. 1. 413 에러 첫번째는, 이미지 업로드 시, base64로 인코딩 된 값이 전송되면서 발생한 413 에러였다. 413 에러는 많이 본 경험이 없던 터라, 서칭해 보았는데, 해당 에러가 발생한 이유는 이미지가 너무 컸기 때문이었다. Nginx에서 기본적으로 요청 엔티티의 크기는 1MB로 제한이 되어 있기 때문에, 1MB가 넘는 이미지를 업로드했을 때 413 에러가 발생했던 것이다. 이에, 최대 50MB까지 업로드할 수 있도록 nginx 설정을 변.. 공감수 1 댓글수 2 2023. 6. 21.
[DeepLook] 5. 백엔드 연결 이전까지는 프론트 쪽 작업만 맡아서 하고, 백엔드는 node js로 한번 맛본 상태였는데, 갑작스레 웹과 백을 연결해야 하는 태스크가 주어졌다. 시간이 없고, 모델이 규모가 있는 모델은 아니어서 flask를 사용하기로 결정했다. 더 자세한 코드를 보고 싶으면 깃허브를 참고하길 바란다. (좀 난잡할 수 있음 주의) 백엔드 모델과 연결 시 거친 단계는 다음과 같다: pickle 파일을 만들어 모든 연예인의 얼굴 임베딩을 저장한다. client 측에서 post 요청을 보냈을 때 이미지 데이터를 받아 임베딩을 추출한다. 추출한 임베딩과 가장 유사한 임베딩을 pickle 파일로부터 로딩한다. 추출된 얼굴 임베딩과 사전 학습된 임베딩 간의 유사도를 계산한다. 가장 유사한 유명인의 이니셜과 유사도를 JSON 형식으로.. 공감수 1 댓글수 0 2023. 6. 21.
[DeepLook] 4. 모델 선정 및 학습 사진 전처리 이후, 모델을 선정하고 학습시키는 과정을 거쳤다. 모델의 후보는 ResNet, EfficientNet, Arcface가 있었는데, 가장 얼굴 유사도 부분에서 큰 성능을 보이는 Arcface 모델을 선정했다. 더 자세한 과정은 코랩을 통해 확인할 수 있다. 1. CSV 파일 생성 우선 전처리된 사진들의 이름(이름_순번 형태)과 해당 인물들이 label 된 csv 파일을 생성했다. 2. Train, Test dataset 분리 항목별로 70%는 train, 30%는 test의 데이터셋으로 분리했다. # 이니셜을 하나의 배열로 모으기 class_name_list = [] tmp=df.copy() for initial in tmp['class']: if initial not in class_name.. 공감수 0 댓글수 0 2023. 6. 21.
[DeepLook] 3. 전처리 (haar-cascade 알고리즘) 지난번에 크롤링한 이미지들을 기반으로 전처리 작업을 진행했다. 모델에 학습시키기 위해서는 인물의 사진 중 얼굴만 crop 된 상태를 학습시켜야 했는데, 이 부분에 대해 찾아보니 haar cascade classifier 라는 알고리즘이 있었다. 1. Haar Cascade Classifier 알고리즘이란? 간단하게 요약하자면, haar cascade classifier 알고리즘은 검출할 대상이 되는 물체가 있는 이미지 (Positive Image)와 없는 이미지(Negative Image)를 최대한 많이 활용해서 다단계 함수를 훈련시키는 기계학습 방식이다. 해당 알고리즘은 유사 하르 특징 (haar-like features)과 캐스케이드 분류기 (cascade classifier)를 사용한다. 1. 유사.. 공감수 0 댓글수 0 2023. 6. 20.
[DeepLook] 2. AI 작업 설계 과정 / 크롤링 1. 설계 과정 우선 모든 닮은꼴로 나오는 인물을 모든 연예인으로 하기에는 너무 광범위하다고 생각되어, 당시 유행한 드라마인 '더 글로리'의 등장인물로만 설정하기로 했다. 생각해 본 작업 순서는 아래와 같다: 더글로리 등장인물의 사진 크롤링 사진 전처리 작업 및 data augmentation 모델 선정 모델 학습 테스트 및 웹 연결 2. 크롤링 물론 많은 라이브러리와 공개된 오픈소스들이 있었지만, 크롤러도 직접 구현해 보고 싶었다. (많은 리소스가 드는 것은 아니니까..) 현재 우리가 필요한 것은 등장인물들의 이미지이기 때문에, 구글 이미지 사이트 (https://www.google.co.kr/imghp?hl=ko)을 기준으로 크롤링하기로 결정했다. 우선 최종적으로 구현한 코드는 다음과 같다: from.. 공감수 0 댓글수 0 2023. 6. 20.
[DeepLook] 1. 시작하게 된 계기 / 프로젝트 IA 1. 시작 계기 학교 공대전공공통 과목 수업 중, 다학제협업설계라는 수업을 수강하게 되었다. 강의계획서를 보니, 3개월의 학기 동안, 첫-둘째 수업은 주제를 선정하여 팀을 배정하고, 이후 1개월간 아두이노 교육, 기계 활용 교육 등의 교육을 시행한 뒤 (선택사항), 남은 1~2개월 동안 작은 프로젝트를 만드는 수업이었다. 친한 컴퓨터공학과 친구들과 이 수업을 수강하면서 작은 웹 서비스 프로젝트를 만들어보면 재밌을 것 같다고 생각했다. 2. 주제 선정 및 IA 당시 computer vision 분야의 논문들을 많이 읽고, 해당 분야에 관심이 많았던 나는, 특정 한 분야의 사람들을 학습해서 닮은꼴을 찾아주는 닮은꼴 웹사이트를 만들어보고 싶었다. (이미 몇 서비스들이 출시된 상태였지만, 직접 모델을 학습시키고.. 공감수 0 댓글수 0 2023. 6. 20.
[토이프로젝트-NETFLIX CLONE] Next.js 를 활용한 Netflix Clone 프로젝트 이번에 벨로그에서 티스토리로 블로그를 옮기면서 이전에 작성했던 프로젝트 관련 블로그를 옮겨 적어본다. 신촌 연합 동아리 CEOS의 프론트엔드 스터디 마지막 과제로 next js를 활용한 넷플릭스 클론 코딩 프로젝트를 진행했다. 해당 프로젝트에서는 메인 페이지, searchPage만 구현했다. 배포링크: https://next-netflix-16th-pre-folio-front.vercel.app/ GITHUB: https://github.com/Pre-folio/next-netflix-16th I. 폴더 구조 폴더 구조는 다음과 같다. src |-api |-components |-elements (공유 컴포넌트) |-homePage |-landingPage |-searchPage |-icons |-pag.. 공감수 0 댓글수 0 2023. 6. 20.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.