워드클라우드는 보기에 예쁘지만, 그 크기가 보여주는 것은 중요도가 아니라 빈도 편향이다.
무엇이 문제인가
텍스트마이닝 결과를 보고서나 발표 자료에 넣을 때 가장 먼저 손이 가는 시각화가 워드클라우드다. 단어가 클수록 많이 등장했다는 뜻이니 직관적으로 읽히고, 보는 사람도 한눈에 핵심어를 파악했다고 느낀다. 문제는 이 느낌이 착시에 가깝다는 점이다. 단순 빈도로 그린 워드클라우드는 데이터 전반에서 흔하게 쓰이는 어휘, 예를 들어 조사와 결합되기 쉬운 일반 명사나 범용적으로 자주 등장하는 말들이 무조건 크게 그려지는 편향을 그대로 노출한다. 실제로 그 토픽이나 그룹을 구별 짓는 핵심어가 아니라, 어디에서나 흔히 나오는 말이 가장 큰 글자로 화면 중앙을 차지하는 일이 흔하다. 이 상태로 "이 단어가 가장 중요하다"고 결론을 내리면, 빈도가 높다는 사실과 그 단어가 분석적으로 의미 있다는 판단을 섞어버리는 셈이다.
어떻게 하는가
이 편향을 보정하는 가장 기본적인 방법은 단순 빈도 워드클라우드와 TF-IDF 가중 워드클라우드를 함께 제시하는 것이다. TF-IDF는 한 문서나 그룹 안에서 자주 나오지만 전체 데이터에서는 드물게 나오는 단어에 가중치를 주는 방식이어서, 범용적으로 흔한 단어는 자연히 작아지고 그 그룹을 특징짓는 단어가 상대적으로 부각된다. 두 워드클라우드를 나란히 놓고 비교하면 단순 빈도에서 컸던 단어가 TF-IDF에서는 작아지는지, 혹은 양쪽에서 모두 크게 남는지를 확인할 수 있고, 이 비교 자체가 어떤 단어가 진짜로 그 데이터를 대표하는지 판단하는 근거가 된다. 다만 여기서 짚어야 할 점은 TF-IDF 워드클라우드를 추가한다고 해서 워드클라우드가 결론의 자리를 가져가는 것은 아니라는 사실이다. 워드클라우드는 어디까지나 탐색 도구다. 어떤 단어들이 눈여겨볼 만한지 빠르게 훑어보고 다음 분석 단계로 넘어가기 위한 입구일 뿐, 그 자체가 연구 결과나 결론으로 제시되어서는 안 된다. 워드클라우드에서 포착된 단어는 빈도표나 동시출현 분석, 토픽모델링 같은 뒤따르는 분석으로 다시 검증받아야 비로소 결론의 근거가 될 자격을 얻는다.
심사위원이라면 여기를 본다
심사위원이 워드클라우드가 들어간 결과 섹션을 볼 때 가장 먼저 확인하는 것은 그 그림이 결론을 대신하고 있는지 여부다. 단순 빈도 워드클라우드 하나만 제시하고 "가장 큰 글자로 나온 단어가 핵심어다"라는 식으로 논지를 전개하면, 그 순간 빈도 편향을 걸러내지 않았다는 지적이 나온다. 조사나 범용 어휘가 커 보이는 구조적 한계를 설명 없이 그대로 결론에 가져다 쓴 것이기 때문이다. 반대로 단순 빈도와 TF-IDF 가중 워드클라우드를 함께 제시하고 두 결과의 차이를 짚어가며 해석했다면, 저자가 빈도 편향의 존재를 인지하고 있고 그것을 보정하려는 절차를 거쳤다는 신호로 읽힌다. 또한 워드클라우드를 탐색 단계에서만 쓰고 실제 결론은 후속 분석에서 끌어왔다면, 시각화와 결론 사이의 논리적 비약이 없다는 점에서 더 안정적인 글로 평가받는다.
마치며
워드클라우드는 단순 빈도만 쓰면 흔한 어휘가 무조건 커 보이는 구조적 편향을 안고 있으므로, TF-IDF 가중 워드클라우드를 함께 제시해 이를 보정하고, 결론은 워드클라우드가 아니라 그 뒤를 잇는 분석에서 끌어와야 심사위원 앞에서 편향 지적을 피할 수 있다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.