[DeepLook] 3. 전처리 (haar-cascade 알고리즘)

지난번에 크롤링한 이미지들을 기반으로 전처리 작업을 진행했다.

모델에 학습시키기 위해서는 인물의 사진 중 얼굴만 crop 된 상태를 학습시켜야 했는데, 이 부분에 대해 찾아보니 haar cascade classifier 라는 알고리즘이 있었다.

1. Haar Cascade Classifier 알고리즘이란?

간단하게 요약하자면, haar cascade classifier 알고리즘은 검출할 대상이 되는 물체가 있는 이미지 (Positive Image)와 없는 이미지(Negative Image)를 최대한 많이 활용해서 다단계 함수를 훈련시키는 기계학습 방식이다.

해당 알고리즘은 유사 하르 특징 (haar-like features)과 캐스케이드 분류기 (cascade classifier)를 사용한다. 

 

1. 유사 하르 특징 (haar-like features)

• 사각형 형태의 필터 집합을 사용한다.
• 흰색 사각형 영역 픽셀 값의 합에서 검은색 사각형 영역 픽셀 값을 뺀 결과 값을 추출하여,
• 최종적으로 계산된 값이 양수인지 음수인지를 기준으로 얼굴의 특징이 있는지 판단한다.

• 대표적으로, 사람의 눈쪽은 눈썹과 눈동자 등으로 인해 어둡고, 그 아래 콧등 부분은 밝게 표시되는 특징들이 추출된다.

2. 캐스케이드 분류기 (cascade classifier)

• 특징을 모으는 작업은 ada boost 알고리즘으로 수행되며, 평균적으로 6000개의 특징을 추출하는데, 이것을 모두 비교하기에는 비효율적이다.
• non-face인 영역을 빠르게 skip 하도록 다단계 (cascade) 검사를 수행한다.
  • 다단계 검사는 윈도우에 대한 6000개의 모든 특징을 적용하는 대신, 분류자의 다른 단계로 특징을 묶고 하나씩 하나씩 적용하는 것이다.
  • 만약 윈도우가 첫 번째 단계에서 실패하면 버리고, 나머지 특징들은 더 이상 고려하지 않는다.
  • 만약 통과되면 특징의 두 번째 단계를 정용하고 이를 계속 반복한다.
  • 모든 단계를 통과한 윈도우가 최종적인 얼굴 영역이 된다.

2. 코드 적용

위에서 설명한 haar-cascade classifier 알고리즘을 사용하여 얼굴 사진을 crop 시키는 과정을 진행했다.

더 자세한 코드는 깃허브를 참고하길 바란다.

진행되는 단계는 다음과 같다:

 

1. 필요한 라이브러리를 설치하고 저장된 사진을 cv2 라이브러리를 통해 행렬로 읽어온다.

# 라이브러리 설치 및 불러오기
!pip install opencv-python

import numpy as np
import pandas as pd
import cv2
import os

# 이미지 불러오기
# 전체 이미지 가져오는 루트 디렉토리
root_dir = '/Users/jang-youngjoon/dev-projects/deep-look/crawled-image'

# 강기영
selected_celeb = 'kky'
path = os.path.join(root_dir, selected_celeb)
file_list = os.listdir(path)

# 행렬로 이미지 읽어들이기
for file in file_list:
    image_path = os.path.join(path, file)
    image = cv2.imread(image_path)
    print(image)

결과는 다음과 같다. (이미지가 아래 사진과 같은 행렬로 변환된다.)

2. 테스팅

하나의 샘플 이미지를 가져와 행렬로 읽어 들이고, cv2.CascadeClassifier 함수 내에 미리 학습된 xml 파일을 불러와 얼굴을 검출하는 알고리즘을 작성한다. 이후, 이미지를 흑백 스케일로 변환하고, face_cascade.detectMultiScale 함수를 사용하여 어느 정도의 threshold로 검출할지 알아본다.

# face_cascade 알고리즘에 xml 파일 삽입
face_cascade = cv2.CascadeClassifier("../haarcascade_frontalface_default.xml")

# 흑백 이미지로 변환
gray = cv2.cvtColor(sample_image, cv2.COLOR_BGR2GRAY)

# 얼굴 검출
faces = face_cascade.detectMultiScale(gray, 1.3, 5)

for (x, y, w, h) in faces:
    cropped_image = image[y : y+h, x : x+w]
    resized_image = cv2.resize(cropped_image, (180, 180))

 

마지막 for 루프는 faces 리스트에 있는 각 얼굴에 대해 반복한다. 반복할 때마다 (x, y, w, h)라는 변수로 현재 얼굴의 좌표와 크기 정보를 가져옵니다. x와 y는 얼굴의 왼쪽 위 모서리의 좌표이고, w와 h는 각각 얼굴의 너비와 높이를 나타낸다.

두 번째 줄의 cropped_image는 원본 이미지에서 얼굴 영역만을 잘라낸다. 배열 슬라이싱을 통해 잘라내고, cropped_image라는 변수에 저장된다.

마지막 줄에서는 잘린 이미지를 줄이는 (리사이징하는) 역할을 수행한다.

 

3. 모든 파일에 적용

이제 위 알고리즘을 모든 파일에 적용해봤다. 디렉토리를 불러오고, 비슷하게 코드를 작성했다.

# 얼굴만 crop하는 알고리즘
def crop_face(image, name):
    # face_cascade 모델 사용
    face_cascade = cv2.CascadeClassifier("../haarcascade_frontalface_default.xml")
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    faces = face_cascade.detectMultiScale(gray, 1.3, 5)

    for (x, y, w, h) in faces:
        cropped_image = image[y : y+h, x : x+w]
        resized_image = cv2.resize(cropped_image, (180, 180))
        cv2.imwrite(os.path.join(save_path, name), resized_image)
        print(f"{celeb_name_to_en} image cropped & saved" )
        
for image_name in image_list:
    # .DS Store 파일 확인
    if 'jpg' in image_name:
        original_image = cv2.imread(os.path.join(import_path, str(image_name)))
        # 백색 이미지 방지 할라했는데 안됨,,,
        if (type(original_image) != 'NoneType' or original_image != None) :
            crop_face(original_image, image_name)   
        else:
            continue
    else:
        continue

 

크롤링 시에 백색 이미지가 검출되기도 했는데, 이때 오류가 나서 중간에 멈췄다. 이를 해결하려고 조건문을 달았지만,,원만하게 실행되지 않았다.. (추후 수정 예정)

---

이렇게 haar cascade 알고리즘을 사용하여 모든 사진들의 얼굴을 검출하고, 해당 부분만 crop하는 전처리 과정을 거쳤다.