[텍스트마이닝] 2-2. 문서 유사도 - 스타벅스 네이버 문서 유사도 구하기

지난번에 배운 BoW, DTM, TF-IDF, 유클리디안 유사도, 코사인 유사도를 활용하여 직접 크롤링한 '스타벅스' 관련 기사 데이터셋으로 문서 유사도를 구하는 실습을 진행해 보았다.

자세한 코드들은 깃허브를 참고하길 바란다.

---

1. 데이터 확인 및 전처리

데이터를 df라는 변수에 저장하고 확인해 보았다.

df.head()

제목	언론사	날짜	URL	네이버뉴스_URL
오늘(1/1) 코스트코 정상영업, 지점별 1월 휴무일·영업시간 '확인하세요'	핀포인트뉴스	2023.01.01.	http://www.pinpointnews.co.kr/news/articleView...	NaN
호랑이 가고 검은 토끼 온다…유통가 ‘토끼 마케팅’ 활발	인더뉴스	2023.01.01.	https://www.inthenews.co.kr/news/article.html?...	NaN
[아듀2022 ②] 머지부터 FTX 파산까지...올해의 주요 이슈 TOP 10	토큰포스트	2023.01.01.	https://www.tokenpost.kr/article-117836	NaN
강남 집 팔아 청소년 쉼터 세웠다…바리스타 키우는 회장님	중앙일보	2023.01.01.	https://www.joongang.co.kr/article/25130324	https://n.news.naver.com/mnews/article/025/000...
변화하는 유통업계, 영역과 경계 허문 '파괴적 커머스' 시대 열렸다	뉴스1	2023.01.01.	https://www.news1.kr/articles/4865044	https://n.news.naver.com/mnews/article/421/000...

크롤링하는 과정에서 URL이 중복됐을 수도 있겠다고 생각하여 중복값을 확인 후, 제거, index 재설정까지 해주었다.

# URL 기준 중복값 확인
print(df.duplicated().sum())
print(df.duplicated(subset='URL').sum())

df[df.duplicated(subset='URL')]

# URL 기준 중복값 제거
df.drop_duplicates(subset='URL', inplace=True)

# 인덱스 재설정
df.reset_index(drop=True, inplace=True)

이후, Okt 라이브러리를 활용하여 제목에 있는 단어들을 명사를 중심으로 토큰화시키고, 병합하여 하나의 리스트로 만들어 보았다.

이후, CounterVecorizer 라이브러리를 사용하여 가장 많이 등장한 단어를 출력해 보았다.

# Okt 불러오기
from konlpy.tag import Okt
okt = Okt()

# 명사 중심의 토큰화
df['단어'] = df['제목'].map(okt.nouns)

# 단어 리스트 만들기
word_list = sum(df['단어'],[])

# Counter 불러오기
from collections import Counter
c = Counter(word_list)

# 가장 많이 등장한 단어
c.most_common(100)

출력값

출력값을 확인해 보니, 생각보다 '스타벅스'와 관련된 단어가 거의 없었다. 잠시 증권사 크롤링 데이터를 잘못 가져왔나 싶기도 했다. 하지만 실제로 네이버 검색에서 기사들을 확인해 보니 위 단어들이 들어간 기사들이 정말 많았다. 이 문제를 해결하기 위해 '스타벅스' 또는 '커피'가 들어간 단어들로만 필터링을 진행했다.

df = df[df['단어'].map(lambda x: '스타벅스' in x or '커피' in x)].copy(); df

출력값

조금은 커피와 관련된 기사들이 많아진 것 같아 보였다.

이후, 제목에 들어갈 단어들을 전처리하여 '제목_전처리'라는 제목의 행으로 다시 저장했다.

# 텍스트 클리닝
import re
df['제목_전처리'] = df['제목'].map(lambda x: re.sub('[^\w\s]', ' ', x)) 

# 인덱스 리셋
df.reset_index(drop=True, inplace=True)

2. TF-IDF 적용

다음으로는 TF-IDF 방식으로 단어들을 벡터화시켜 DTM을 생성해 보았다. (사이킷런 라이브러리를 사용하였다.)

# TF-IDF 벡터화
vectorizer = TfidfVectorizer(min_df = 10, ngram_range=(1,2), tokenizer=okt.morphs)
features = vectorizer.fit_transform(df['제목_전처리'])

# feature 이름 불러 오기
feature_names = vectorizer.get_feature_names_out()

# DTM 생성
dtm_np = np.array(features.todense())

# DataFrame 확인
pd.DataFrame(data = dtm_np, columns = feature_names)

출력값은 다음과 같았다.

비슷한 내용의 기사들로 군집화시키는 것이 최종 목표이기 때문에, 코사인 유사도를 통해 유사도를 구해보았다.

3. 코사인 유사도 구하기

사이킷런의 cosine_similarity를 사용했다.

이후 하나의 기사를 선정해서 해당 기사와 코사인 유사도가 높은 top 10 기사들을 출력해 보았다.

# 코사인 유사도 구하기
from sklearn.metrics.pairwise import cosine_similarity
cosine_sim = cosine_similarity(dtm_np, dtm_np)

# 인덱스 설정
indices = pd.Series(df.index, index=df['제목'])

# 뉴스 기사 인덱스 추출
idx = indices["스타벅스, 올해 커뮤니티 스토어 청년인재 배출…'역대 최다 인원'"]
print(idx) # 1753

# 선택한 뉴스 기사와 다른 뉴스 기사간 유사도 확인
sim_scores = list(enumerate(cosine_sim[idx]))

# 유사도가 높은 순으로 뉴스 정렬
sim_scores = sorted(sim_scores, key = lambda x: x[1], reverse=True)

# 유사도 높은 10개의 뉴스
sim_scores = sim_scores[0:11]; sim_scores # 0은 자기 자신일 것

출력값

당연히 같은 기사끼리는 1의 유사도를 보였다.

첫 기사를 제외하고, 나머지 기사들로 코사인 유사도 기반의 데이터프레임을 만들어 보았다.

sim_scores = sim_scores[1:11]

# 가장 유사한 10개의 뉴스의 인덱스
news_indices = [i[0] for i in sim_scores]

# 유사한 뉴스 기사 제목 출력
df['제목'].iloc[news_indices]

# 코사인 유사도 기반 데이터 프레임
sim_df = pd.DataFrame(cosine_sim); sim_df

이후 dataframe을 유사도가 0.5를 넘는지에 대한 유무로 boolean index로 만들어 데이터프레임으로 만들었다.

# Boolean Index 만들기
sim_boolean = sim_df > 0.5 ; sim_boolean

# 유사도 0.5가 넘는 게시글이 10개 이상 있는 경우
sim_boolean.sum() >= 10

# 10개 이상 있는 게시글이 몇 개나 있을까?
sum(sim_boolean.sum() >= 10) #결과: 2465

4. 군집화

최종적으로, 유사도가 25% 이상인 게시물들로 군집화를 진행해 보았다.

# 유사도 25% 이상의 뉴스 토픽 묶기

idx_list = list(sim_df[sim_boolean.sum() >= 10].index)
cluster = []
pass_list = []
threshold = 0.25
id_idx = []
for i in idx_list:
    if i not in pass_list:
        idx = sim_df[i][sim_df[i] > threshold].index
        cluster.append(idx)
        pass_list.extend(list(idx))
        id_idx.append(i)
    else:
        pass

print(len(cluster)) #결과: 106

# 스타벅스 뉴스 토픽
starbucks_df = df.iloc[id_idx,:].copy(); starbucks_df

전보다 훨씬 '스타벅스'와 '커피' 관련된 기사들로 묶인 것 같아 성공적으로 목표를 달성했다고 생각한다.

---

이렇게, 스타벅스 기사 데이터셋으로 TF-IDF를 적용하고, 코사인 유사도를 구하여 유사한 기사들끼리의 군집화를 진행해 보았다.