두 집단이 얼마나 겹치는가 - Jaccard 정합성

두 트랙의 토픽이 비슷하다는 인상은 그 자체로 주장이 될 수 없다. Jaccard 정합성으로 숫자를 대야 검증 가능한 주장이 된다.

무엇이 문제인가

비교 분석에서 "두 트랙(또는 두 집단, 두 시기)의 토픽 키워드가 비슷하다"거나 "핵심 어휘가 겹친다"는 서술을 흔히 본다. 그런데 어느 정도 겹치는지를 숫자로 제시하지 않으면 그 주장은 읽는 사람의 인상에 의존할 뿐 검증할 수 없다. 반대로 키워드 집합의 크기를 고려하지 않고 겹치는 개수만 보고하면, 집합이 원래 작아서 겹칠 수밖에 없었던 경우와 실제로 의미 있게 겹친 경우를 구분하지 못한다.

어떻게 하는가

두 집단의 어휘 또는 토픽 키워드 집합이 얼마나 겹치는지는 Jaccard 정합성으로 계산한다. 공식은 J(A,B) = (A와 B의 교집합 크기) / (A와 B의 합집합 크기)로, 두 집합에 공통으로 들어있는 항목 수를 두 집합을 합친 전체 항목 수로 나눈 값이다. 해석 기준은 0.5 이상이면 강한 정합, 0.2에서 0.5 사이면 부분 정합, 0.2 미만이면 약한 정합으로 본다.

비교 전에 영문과 한국어가 혼재된 어휘는 사전 매핑으로 표기를 통일해야 한다. 그렇지 않으면 같은 의미의 단어가 서로 다른 항목으로 처리되어 교집합이 실제보다 작게 산출된다. 또한 키워드 집합의 크기가 작으면 Jaccard 값이 가질 수 있는 최댓값 자체가 구조적으로 제한되므로, 집합 크기를 함께 제시하고 임계값에 따른 해석이 그 구조적 제한과 어긋나지 않는지 점검해야 한다.

심사위원이라면 여기를 본다

심사위원은 보고된 Jaccard 값과 비교에 사용된 키워드 집합의 크기가 서로 맞는지를 본다. 집합 크기를 밝히지 않은 채 "정합성이 높다"거나 "낮다"는 해석만 제시하면, 그 값이 집합 크기의 구조적 제약 때문인지 실제 내용의 차이 때문인지 구분할 수 없다는 지적을 받는다. 임계값 서술과 실측 집합 크기가 어긋나면 해석 전체가 흔들린다.

마치며

두 집단의 키워드가 비슷하다는 서술은 Jaccard 정합성 수치로 바꿔 제시해야 검증 가능한 주장이 되며, 비교 전 어휘 표기 통일과 집합 크기 점검을 거쳐야 그 수치의 해석이 심사에서 방어된다.

텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.