[RESUMAI] 3. RAG의 도입과 자기소개서 크롤링

드디어 기말고사가 끝났다..어쩌면 여유로웠고, 어쩌면 힘들었던 한 학기였던 것 같다. 이제 개발해야지.

---

RAG의 도입

지난번에는 프롬프트를 실험해본 결과를 기록했다. 그 결과, 3-shot 프롬프트가 가장 좋은 퍼포먼스를 보였다.

해당 결과를 기반으로, 나는 RAG 기법을 이용해야겠다고 생각했다.

 

RAG는 Retrieval Augmented Generation의 약자로, 다음 그림과 같은 3단계로 구성돼 있다.

1. Retrieve
   • 먼저 Retrieve 단계에서는 query를 embedding 한 후, vectorDB로부터 유사성이 높은 context를 가져오는 과정이다.
   • 주로 책 안의 내용을 챗봇에게 질문하고자 할 때, 책 내용을 pdf로 만들어 첨부하고, 질문하는 내용에 대해 Retrieve 과정을 거쳐 높은 퀄리티의 답변을 만들 수 있도록 한다.
2. Augment
   • 두번째 Augment 단계는 어떻게 보면 프롬프팅을 하는 과정이다. 방금 전 Augment 단계에서 얻은 context를 query와 함께 프롬프트에 첨부해서 챗봇이 대답하는 데 근거가 될 수 있는 context, 예시를 제공한다.
3. Generate
   • 마지막으로 LLM에게 프롬프트를 주고 생성하도록 한다. 

 

위처럼 RAG를 위해 내 프로젝트에서 필요하다고 생각한 항목은

1. vectorDB에 저장될 데이터. 이건 퀄리티 높은 자기소개서 데이터가 되어야 할 것이다. (그래야 결과도 잘 나올 것이므로)
2. 좋은 프롬프팅. 사실상 output을 결정할 수 있는 가장 큰 요소이다. 

 

그래서 먼저 잡코리아에서 퀄리티 높은 자기소개서를 크롤링하기로 결정했다.

---

자기소개서 크롤링

먼저 구현된 코드는 다음과 같다.

크롤링 과정은 아래 블로그를 참조해서, 비교적 간단했다.

https://velog.io/@dbstjd0924/%EC%9E%A1%EC%BD%94%EB%A6%AC%EC%95%84-%EC%9E%90%EA%B8%B0%EC%86%8C%EA%B0%9C%EC%84%9C-%ED%81%AC%EB%A1%A4%EB%A7%81-ddahddwe

잡코리아 자기소개서 크롤링하기

한 가지 애를 먹은 부분이 있었는데, 위 블로그에서는 로그인 과정을 send_keys로 해결했지만, 시간이 지나 보안문자가 생겨버린 것이었다. 보안문자를 해결하는 과정에서 꽤나 애를 먹었지만, 그래도 소셜 로그인 시 제공되는 redirect uri를 사용하여 로그인할 수 있었다. 다행이었다.

크롤링된 데이터는 다음과 같이 생겼다.

지원 회사	지원 시기 및 직무	지원 스펙	회사 질문 리스트	답변 리스트
현대오토에버	2023년 하반기 신입 백엔드개발자합격자소서	수도권 4년..~	1. 현대오토에버의 해당 직무에 지원한 이유와 앞으로 현대오토에버에서 키워 나갈 커리어 계획을 작성해 주시기 바랍니다. 2. 지원 직무와 관련하여 어떠한 역량을(지식/기술 등) 강점으로 가지고 있는지, 그 역량을 갖추기 위해 무슨 노력과 경험을 했는지 구체적으로 작성해 주시기 바랍니다. (학내외 활동/프로젝트/교육 이수 과정 등 본인의 경험을 기반으로 작성해 주시기 바랍니다.)	개인정보 이슈로 첨부하지 않겠다.

이렇게 5개의 구성으로 돼 있었고, 이후 나의 고민은 "이 데이터를 어떤 DB에 저장할 것인가"였다. 다음 포스팅에서는 어떤 DB를 사용하게 됐는지에 관한 내용을 다뤄볼 예정이다.