[DeepLook] 2. AI 작업 설계 과정 / 크롤링

1. 설계 과정

우선 모든 닮은꼴로 나오는 인물을 모든 연예인으로 하기에는 너무 광범위하다고 생각되어, 당시 유행한 드라마인 '더 글로리'의 등장인물로만 설정하기로 했다.

생각해 본 작업 순서는 아래와 같다:

1. 더글로리 등장인물의 사진 크롤링
2. 사진 전처리 작업 및 data augmentation
3. 모델 선정
4. 모델 학습
5. 테스트 및 웹 연결

2. 크롤링

물론 많은 라이브러리와 공개된 오픈소스들이 있었지만, 크롤러도 직접 구현해 보고 싶었다. (많은 리소스가 드는 것은 아니니까..)

현재 우리가 필요한 것은 등장인물들의 이미지이기 때문에, 구글 이미지 사이트 (https://www.google.co.kr/imghp?hl=ko)을 기준으로 크롤링하기로 결정했다.

우선 최종적으로 구현한 코드는 다음과 같다:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import urllib.request
import ssl
import os

# ssl certification 오류 해결
ssl._create_default_https_context = ssl._create_unverified_context

keyword = input("검색할 이름을 입력하세요: ")

# 파일명 영어로 변경
keyword_to_english = ""
if keyword == "송혜교":
    keyword_to_english = "shg"
elif keyword == "이도현":
    keyword_to_english = "idh"
elif keyword == "임지연":
    keyword_to_english = "ijh"
elif keyword == "신예은":
    keyword_to_english = "she"
elif keyword == "손명오":
    keyword_to_english = "smo"

# selenium option
chrome_options = webdriver.ChromeOptions()
driver = webdriver.Chrome(
    service=Service(ChromeDriverManager().install()), options=chrome_options
)

# 저장할 디렉토리명
save_path = "/Users/jang-youngjoon/dev-projects/youtuber-look-alike/crawled-image"


# 제일 아래까지 스크롤 -> 항목 높이기
def selenium_scroll_option():
    SCROLL_PAUSE_SEC = 2
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
        time.sleep(SCROLL_PAUSE_SEC)
        new_height = driver.execute_script("return document.body.scrollHeight")

        if new_height == last_height:
            break
        last_height = new_height


driver.get("https://www.google.co.kr/imghp?hl=ko")
elem = driver.find_element(By.NAME, "q")
elem.send_keys(keyword)
elem.send_keys(Keys.RETURN)
time.sleep(1)

# 더보기 버튼 누르는 코드
selenium_scroll_option()

images = driver.find_elements(By.CSS_SELECTOR, ".rg_i.Q4LuWd")
count = 1
images_url_list = []

for image in images:
    if image:
        # image.send_keys(Keys.ENTER) #.click() 말고 send_keys(Keys.ENTER)로 변경
        driver.execute_script("arguments[0].click();", image)
        time.sleep(3)
        imageUrl = driver.find_element(
            By.XPATH,
            '//*[@id="Sva75c"]/div[2]/div/div[2]/div[2]/div[2]/c-wiz/div/div/div/div[3]/div[1]/a/img[1]',
        )
        if imageUrl:
            if imageUrl.get_attribute("src") == None:
                images_url_list.append(imageUrl.get_attribute("data-src"))
            else:
                images_url_list.append(imageUrl.get_attribute("src"))
        else:
            continue
    else:
        break

for image_url in images_url_list:
    file_name = f"{keyword_to_english}_{count:06d}.jpg"
    file_place = os.path.join(save_path, file_name)
    urllib.request.urlretrieve(image_url, file_place)
    print(f"Image saved: {count}")
    count += 1

driver.close()

코드에 관해 설명하자면, 실행 시 크롤링하고자 하는 인물의 이름을 입력받게 했다. 물론 입력받을 인물의 이름이 늘어나면 처음에 설정해 둔 'keyword' 부분의 if문을 변경해야 하지만, 우선 이렇게 작성했다. (후에 해당 부분을 자동화하는 방법에 대해 고민해 봐야겠다.)

이후에는 구글 이미지 사이트로 이동하여 입력받은 등장인물의 이름을 검색한다. 다량의 사진이 필요했기 때문에 스크롤이 꼭 필요했는데, html 문법을 알고 있어서였는지 손쉽게 만들었다. 해당 사이트는 무한 스크롤 방식으로 구현이 돼있기 때문에, 스크롤의 높이를 아래로 내림으로써 무한 스크롤 기능이 발동되게 할 수 있었다.

이후, '더 보기' 버튼이 나오면 버튼을 눌러야 더 많은 사진을 볼 수 있었지만, 그 버튼이 나오는 순간 적어도 200장의 이미지는 확보된 것이니 해당 버튼을 누르는 기능까지는 구현할 필요가 없다고 생각했다.

그렇게 이미지를 하나씩 가져와, 인물의 이니셜과 이미지 번호를 부여해서 내 컴퓨터에 저장했다.

이렇게 인물들의 이미지를 크롤러를 직접 구현하여 크롤링해보았다.

 

3. 개선사항

이렇게 직접 크롤러를 구현해서 크롤링해 보았는데, 정말 실질적인 용도로 이 크롤러를 만들려면 다음과 같이 자동화하고 개선해야 할 부분이 많다는 생각이 들었다:

1. 이름을 입력받는 방식: 사용자가 txt 파일에 크롤링할 이름을 문단을 구분하여 써 놓고, 시스템 내부에서 자동으로 한 줄씩 읽게 하여 병렬적으로 처리하면 더 빠르고 효율적으로 작업할 수 있을 것 같다고 생각했다.
2. 주기적으로 변하는 구글 사이트의 HTML element: 이 크롤러를 나중에 사용하려고 보니, 구글 이미지 검색 사이트의 html element가 주기적으로 변해서 크롤링하기 어려웠다. 이 부분은,, 주기적으로 내가 확인하고 element 부분을 변경하거나, 사이트에서 규칙성을 찾아 업데이트시켜주는 방식으로 해결할 수 있을 것 같았다. (하지만 후자는 너무 시간도, 리소스도 많이 들 것 같다고 생각한다...)
3. 인증서 문제: 가끔씩 실행할 때 인증서 관련 (ssl 관련인 듯하다.) 문제가 발생하는데, 이 문제를 어떻게 해결할지는 모르겠다.

---

개선해야 할 점도 많았지만, 그래도 직접 크롤러를 구현하여 다량의 사진 데이터를 쌓게 되어 기뻤다. 다음은 해당 사진들에 대한 전처리를 해 볼 예정이다.