[RESUMAI] 5. 자기소개서 생성 데모 서비스

지난 글에서 작업한 것을 바탕으로, 데모 서비스를 만들었다. 이번 글은 해당 데모를 만들 때의 기록이다.

---

1. RAG 과정 구현

지난번에는 pinecone에 벡터 데이터를 저장하는 작업까지 완료했으니, 이제는 내가 작성한 글과 유사도가 높은 k개의 항목을 가져와, 프롬프트에 예시로 넣어, 새로운 자기소개서를 생성하는 일만 남았다.

1. Retrieve

먼저, query를 embedding 하고, pinecone에서 유사한 3개의 항목을 가져온다.

코드는 다음과 같다.

if st.button("생성하기!"):
    pinecone.init(api_key=st.secrets["PINECONE_API_KEY"], environment="gcp-starter")
    index = pinecone.Index("resumai-self-introduction-index")

    query_embedding = get_embedding(user_answer) # 유저가 질문에 답변한 것을 임베딩

    retrieved_data = index.query(vector=query_embedding, top_k=3, include_metadata=True) # 유사한 top 3개의 답변

    data = retrieved_data["matches"]

    data_1_question = data[0]["metadata"]["question"]
    data_1_answer = data[0]["metadata"]["answer"]

    data_2_question = data[1]["metadata"]["question"]
    data_2_answer = data[1]["metadata"]["answer"]

    data_3_question = data[2]["metadata"]["question"]
    data_3_answer = data[2]["metadata"]["answer"]

이렇게 index.query() 함수를 통해, 간단하게 top 3개의 유사한 문장들과 메타데이터를 가져올 수 있다.

 

2. Augment: 프롬프팅

먼저, RESUMAI와 관련된 2번째 블로그에서 실험한 것처럼, 3-shot을 포함한 프롬프트를 위해 다음과 같이 작성했다:

GENERATE_SELF_INTRODUCTION_PROMPT = f"""
자기소개서를 작성하는데, 다음 질문에 답하려고 합니다.
Question: {{question}} \n

질문에 대한 저의 대답은 다움과 같습니다.
Context: {{context}} \n

아래는 몇 가지 예시입니다.
examples: \n {{examples}} 

예시들과 저의 답변을 참고하여 질문에 대한 대답을 해 주세요.
"""

여기서 question은 내가 작성할 질문이고, context는 나의 대답, examples는 pinecone으로 찾은 예시들이다.

examples = (
        f"Question: {data_1_question}, \n Answer: {data_1_answer}, \n\n "
        f"Question: {data_2_question}, \n Answer: {data_2_answer}, \n\n "
        f"Question: {data_3_question}, \n Answer: {data_3_answer}"
    )

prompt = GENERATE_SELF_INTRODUCTION_PROMPT.format(
    examples=examples, question=question, context=user_answer
)

print(prompt)

이렇게 코드를 작성하고 실행시켜 보니, 프롬프트가 다음과 같았다.

자기소개서를 작성하는데, 다음 질문에 답하려고 합니다.
Question: 문제 해결 경험 


질문에 대한 저의 대답은 다움과 같습니다.
Context: 이번 여름 방학 때, 쇼핑몰 솔루션 개발 업체에서 2달 동안 인턴으로 근무했습니다. 인턴을 처음 시작할 당시, 쇼핑몰의 가장 기본이 되는 회원 시스템과 관리자 시스템이 서버와 클라이언트, 그리고 웹상에서 어떠한 방식으로 작동하는지 원리를 이해하기 위한 과제를 수행했습니다.

과제는 가상의 쇼핑몰을 만들고 쇼핑몰의 회원가입 시스템과 관리자 시스템을 구축하는 것이었습니다. 쇼핑몰을 구성하기 위해서는 서버, HTML, 호스팅, 데이터베이스 등 다양한 분야의. 당시 저는 데이터베이스에 관한 지식만 있던 상태여서 진행을 위한 큰 그림조차 그려지지 않을 정도로 막막한 상태였습니다.

이를 해결하기 위해 가장 기본적으로 웹의 표준인 HTML부터 서버 측 언어인 PHP 등 과제 수행에 필요한 지식을 하나 둘씩 습득했습니다. 시간이 지난 뒤 HTML과 PHP 각각에 대한 지식은 인터넷을 통해 각종 강의를 듣고, 책을 읽어보았지만 이 둘의 관계를 명확히 설명해 놓은 곳은 없고, 결국 무작정 과제 해결에 돌입했습니다.

직접 시행착오를 겪으며 개발을 하다 보니 점점 HTML과 PHP 사이의 관계를 파악하게 되었고 후에는 완전히 이해하게 되어 성공적으로 간단한 쇼핑몰 구축에 성공하였습니다. 


아래는 몇 가지 예시입니다.
examples: 
Question: 최근 5년 이내에 했던 경험 중 가장 많은 정보나 의견을 수집, 종합하고 이를 바탕으로 문제를 해결했던 경험에 대해 구체적으로 서술하십시오. (700자 10 단락 이내), 
Answer: 이번 여름 방학 때, 쇼핑몰 솔루션 개발 업체에서 2달 동안 인턴으로 근무했습니다. 인턴을 처음 시작할 당시, 쇼핑몰의 가장 기본이 되는 회원 시스템과 관리자 시스템이 서버와 클라이언트, 그리고 웹상에서 어떠한 방식으로 작동하는지 원리를 이해하기 위한 과제를 수행했습니다.

과제는 가상의 쇼핑몰을 만들고 쇼핑몰의 회원가입 시스템과 관리자 시스템을 구축하는 것이었습니다. 쇼핑몰을 구성하기 위해서는 서버, HTML, 호스팅, 데이터베이스 등 다양한 분야의식만 있던 상태여서 진행을 위한 큰 그림조차 그려지지 않을 정도로 막막한 상태였습니다.

이를 해결하기 위해 가장 기본적으로 웹의 표준인 HTML부터 서버 측 언어인 PHP 등 과제 수행에 필요한 지식을 하나 둘씩 습득했습니다. 시간이 지난 뒤 HTML과 PHP 각각에 대한 지식은 인터넷을 통해 각종 강의를 듣고, 책을 읽어보았지만 이 둘의 관계를 명확히 설명해 놓은 곳은 없고, 결국 무작정 과제 해결에 돌입했습니다.

직접 시행착오를 겪으며 개발을 하다 보니 점점 HTML과 PHP 사이의 관계를 파악하게 되었고 후에는 완전히 이해하게 되어 성공적으로 간단한 쇼핑몰 구축에 성공하였습니다.
글자수 692자
1,168Byte, 

Question: 다양한 의견이나 정보를 자신의 기준으로 분석 / 판단하고, 이를 바탕으로 문제를 해결했던 경험에 대해서 서술하시오. - 최근 5년 이내의 경험으로 작성할 것 - 분석한 의견 것 (700 자 10 단락 이내), 
Answer: 이번 여름 방학 때, 쇼핑몰 솔루션 개발 업체에서 2달 동안 인턴으로 근무했습니다. 과제는 가상의 쇼핑몰을 만들고 쇼핑몰의 회원가입 시스템과 관리자 시스템을 구축하는 것이었습니다.

쇼핑몰을 구성하기 위해서는 서버, HTML, 호스팅, 데이터베이스 등 다양한 분야의 지식이 필요했습니다. 당시 저는 데이터베이스에 관한 지식만 있던 상태여서 쇼핑몰 설계의 큰 그림조차 그려지지 않을 정도로 막막한 상태였습니다.

이를 해결하기 위해 가장 기본적으로 웹사이트 제작의 큰 틀을 분석하였습니다. 웹사이트 제작에는 서버 측, 클라이언트 측에서 사용하는 언어와 이로 이루어진 페이지, 그리고 각종 데이터를 저장할 데이터베이스가 필요했습니다.

각종 서적을 참고하여 웹의 표준인 HTML부터 서버 측 언어인 PHP 등 과제 수행에 필요한 언어는 익혔지만, 프론트엔드 페이지와 백엔드 페이지 간의 상호작용을 이해하지 못해 어려움을 겪었습니다.

이를 해결하기 위해 인터넷 강좌와 다양한 시행착오를 통해 HTML과 PHP 사이의 관계를 파악했습니다. 여러 번의 시행착오를 겪은 후에는 웹사이트의 작동 원리를 완전히 이해하게 되었고 성공적으로 쇼핑몰 시스템을 구축하는 데 성공하였습니다.
글자수 610자
1,036Byte, 

Question: 지원분야와 관련된 학습내용(학창시절 이수과목포함)이나 활동사항(업무수행경험은 좌측 회사경력탭 프로젝트 경력기술서란에 기재), 
Answer: 컴퓨터공학을 전공하며 웹 프로그래밍 분야에 관심을 갖고 있었습니다. 그러나 학과 내 수업이 개설되지 않아 정식으로 배운 경험이 없어 독학으로 HTML과 자바스크립트 초급 기술만을 익히고 있던 상황이었습니다.

그러던 중 한국데이터베이스진흥원에서 진행하는 Database 개발자 양성과정에 참여하여 웹 프로그래밍 분야를 체계적으로 학습하고 프로젝트를 진행하며 개발 경험을 쌓을 수 있었습니다.

팀 프로젝트의 주제는 자취생들의 윤택한 생활을 돕는 커뮤니티로 선정하였고, 자취하는 티를 감춘다는 의미로 제목은 ‘자취를 감추다’로 하였습니다. 동호회, 공동구매 등 자취생들에게있는 ‘나의 냉장고’ 기능을 고안하였습니다.

또한 자취생이 간편하게 만들 수 있는 요리 레시피를 소개하고, 레시피 별 재료를 등록하여 가진 재료로 만들 수 있는 요리를 검색할 수 있도록 기획하였습니다.

프로젝트는 스프링 프레임웍을 활용하여 MVC 패턴으로 구성하였습니다. 데이터베이스는 오라클로 구축하였고 mybatis를 사용하였습니다. 클라이언트는 JSP로 작성하였으며 AJAX를 활용하 개발하였습니다.

일반 글을 업로드하는 게시판을 만들고 글 작성 화면에 에디터를 적용하여 내용을 다양하게 편집할 수 있도록 하였습니다. 또한 벼룩시장, 레시피 등의 게시판에는 사진을 필수적으로 첨니다. 레시피를 업로드할 때에는 필요한 재료를 전체 재료 DB에서 검색하여 등록하도록 하였습니다.

모든 게시판에 페이징을 구현하였고, 회원별 마이페이지에서 내가 쓴 글/댓글을 볼 수 있게 하였습니다. 또한 ‘가진 재료로 만들 수 있는 레시피 검색’을 위하여 마이페이지의 ‘내 재료비스를 상용화하진 못하였지만, 완성된 프로젝트는 발표 후 투표에서 1등 팀으로 선발되었고, 현재 교육 후속으로 진행되는 멘토링에 참여하여 어플리케이션으로 개발을 진행하고 있습니다.
글자수 1,174자
2,017Byte 

예시들과 저의 답변을 참고하여 질문에 대한 대답을 해 주세요.

있을 정보는 다 있어보여서, 글자수 등에 대한 정보가 있는 것 빼고는 다 괜찮아 보였다.

 

3. Generate

마지막으로 프롬프트까지 완성됐으니, ChatGPT api를 활용하여 generate 하는 단계만 남았다. 이에 다음과 같이 코드를 작성했다.

#lib/openai_call.py
def get_chat_openai(prompt, model="gpt-4"):
    response = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": prompt}],
        temperature=0,
    )
    output = response.choices[0].message.content
    return output

# GENERATE.py
answer = get_chat_openai(prompt)

if answer:
    st.success("답변이 생성되었습니다!")
    st.write(answer)
else:
	st.error("답변 생성에 실패했습니다..")

일단 capathy님의 조언에 따라 gpt-4로 코딩했다.. 내돈

---

2. 결과

Streamlit Share로 배포했는데, 배포한 과정은 생략하겠다. 찾아보면 쉽고, secret key랑 requirements.txt만 주의해서 작성하면 거의 버튼 한두 번 클릭하는 형식으로 배포할 수 있었다.

배포 링크

RESUMAI

실험은 2개 정도의 데이터만 일단 해봤는데, 하나는 엄청 성의 없게 쓴 답변, 나머지 하나는 꽤 성의 있게 쓴 퍼온 답변이다.

두 데이터에 대한 실험 결과는 다음과 같았다.

아무래도 성의 없게 쓴 자기소개서 답변이 훨씬 더 드라마틱한 변화처럼 느껴지긴 한다. ㅋㅋㅋㅋ

---

3. 개선점 및 추가기능

막상 이렇게 배포도 하고 결과를 확인해 보니 나쁘지는 않았지만, 조금 더 좋은 결과가 나왔으면 해서 어떻게 개선시켜 볼 수 있을지 생각해 보았다.

개선점

가장 먼저 떠오른 방법은 가점요소를 프롬프트에 넣는 방법이다.

말 그대로 선택한 질문에 대해, 답변의 어느 부분을 강조해야 하는지를 프롬프팅.

이전에 8가지의 프롬프트를 놓고 실험해 보았을 때, 가점요소를 프롬프트에 제시했을 때 더 높은 퀄리티의 답변을 생성했었다.

• 예시: 지원동기
• 자기소개서 지원동기는 ‘내가 신중하게 골라서 지원한 회사’라는 느낌을 주는 것이 중요하다. 그러기 위해서는 자기 분석(직업관, 성향 등)과 회사분석을 통해 지원 이유의 연결고리를 찾아야 한다. 회사 홈페이지를 통해 회사의 비전과 주력사업 현황, 향후 경쟁력 등을 파악하고, 본인의 직업관과 연결시켜 회사에 대한 애정을 보여주는 것이 좋다. - 회사의 비전과 문화, 사업 방향성 등과 본인의 직업관 등을 엮어 접점을 제시했다면, 지원한 직무의 핵심역량과 자신의 강점/경험을 연결시켜 지원 이유를 더욱 보강하는 것이 필요하다. - 지원동기와 입사 후 포부를 한 문항에 함께 물어보는 경우도 종종 있다. 회사와 직무에 적합한 본인의 강점과 더불어 입사하기 위해 지금까지 해 온 노력들을 근거로, 입사 후 조직의 구성원으로서 무슨 일을 하고 어떤 목표를 달성하고 싶은지 말해 주면 좋다. 달성 목표의 경우 현실성 있는 기간과 목표치를 제시한다면 더욱 긍정적인 인상을 남길 수 있다.

보편적인 질문들에 대해, 각 질문별로 어떤 가점요소가 있을지 리서치하여, 어떤 질문을 선택하면 그 질문에 해당하는 가점요소가 프롬프팅 되도록 하면 좋을 것 같다고 생각했다. 사람인 자기소개서 가이드라인

• 나중에는 보편적인 질문들이 아닌, 사용자가 직접 마주한 질문을 작성하게 할 예정인데, 이 경우에는 LLM에게 어떤 부분을 강조해야 할지에 대해서 물어보는 것도 좋을 것 같다고 생각했다.

추가 기능

이 웹 페이지를 만들면서, 다른 기능에 대한 욕심이 더 생겨났다.

1. 자기소개서 가이드라인 제시
   • 선택한 질문에 대해서 LLM에게 가이드라인을 만들어달라고 하고, 입력란에 생성된 가이드라인을 보여주는 방식이다.
2. 실시간 기업 정보 프롬프팅
   • 현재 기업이 어떤 방향으로 집중하고 있는지 등에 대한 정보를 제공하고, 해당 정보를 프롬프트에 넣는 것이다.
   • 이런 경우에는, 자신이 지원할 기업을 작성해서, 실시간으로 해당 기업에 대한 기사를 크롤링해 오는 것은 말도 안 된다.
   • 따라서, 10개 내외의 실시간 기업 정보를 크롤링해오는 작업을 자동화하여 DB에 저장해 놓고, 사용자들이 해당 기업을 고르게 하는 수밖에 없을 것 같음. (사용자가 많아지면 이용 가능하게 되는 기업의 개수도 늘어나겠지....!!)
3. 사용자 피드백 수용
   • 이건 우리 교수님께서 주신 피드백인데, 생성된 결과물에 대해 사용자의 요구사항을 받아서 변화시키는 것도 괜찮은 요소일 것 같다고 하셨다. 아마 그럼 ui는 이런 느낌일 것이다.

저 박스에 사용자의 요구사항을 넣어 다시 생성 버튼을 누르면 그 요구사항을 받아 생성해주는 형식이다. 괜찮은 기능이 될 것 같다

---

이렇게 데모 서비스를 완성시켰다 !!!!

막상 코드를 짜다 보니, 은근 단순한 작업들이었고, 뭔가 좀 더 빨리 의지를 가지고 했으면 빨리 끝낼 수 있었을 것 같다.

하지만 결과물이 나왔으니 후회는 없다! ㅋㅋㅋ

 

앞으로는 이 데모 서비스로 사용자 테스팅을 좀 해보고, 인터뷰 & 피드백을 통해 우리 서비스가 어떤 점이 좋고 어떤 점이 부족한 지 등에 대해 많이 들어보고 싶다.

 

혹시 이 글을 보고 데모를 사용해보고, 댓글로 피드백 남겨주셔도 너무 감사하겠습니다 !!