네트워크를 그렸는데 모든 노드의 연결중심성이 1.000으로 똑같다면 임계값이 틀린 것이다.
무엇이 문제인가
동시출현 네트워크 분석에서 임계값(threshold)은 두 단어를 하나의 선으로 연결할지 말지를 가르는 기준이다. 이 값을 데이터 규모와 무관하게 임의로 고정하는 경우가 많다. 임계값을 너무 낮게 잡으면 거의 모든 단어 쌍이 연결되어 네트워크가 하나의 뭉치로 뭉개지고, 중심성 지표는 변별력을 잃는다. 극단적인 경우 모든 노드의 연결중심성이 1.000으로 동일하게 나오는데, 이는 분석이 잘못됐다는 신호이지 모든 단어가 똑같이 중요하다는 뜻이 아니다.
어떻게 하는가
임계값은 데이터 규모에 비례해 차등 적용해야 한다. 문서 수가 25000건 이상이면 동시출현 빈도 50 이상을 연결 기준으로 삼고, 5000~10000건 규모면 15 이상, 1000건 미만의 소규모 데이터면 3 이상을 기준으로 삼는다. 데이터가 많을수록 우연한 동시출현도 늘어나기 때문에, 규모가 커질수록 임계값도 함께 올려야 의미 있는 연결만 남는다.
중심성 계산에도 손볼 부분이 있다. 매개중심성(betweenness)과 근접중심성(closeness)은 원래 '거리'가 짧을수록 가깝다고 보는 지표인데, 동시출현 가중치(weight)는 반대로 값이 클수록 강한 연결을 뜻한다. 그래서 distance = 1/weight로 변환한 뒤에 매개중심성과 근접중심성을 산출해야 값이 왜곡되지 않는다. 또한 단순 연결중심성(Degree, 연결된 노드 수만 세는 지표)은 임계값 근처에서 동률이 쏟아지기 쉬우므로, 정렬과 순위 매김의 기준은 가중치를 0~1로 정규화한 가중연결(WDeg)로 잡는 편이 동률 위험을 줄인다.
심사위원이라면 여기를 본다
임계값을 데이터 규모와 무관하게 잡으면 네트워크의 변별력이 사라진다. "왜 이 임계값을 썼는가"라는 질문에 데이터 건수와 임계값의 대응 관계 없이 답하면 자의적으로 보이기 쉽다. 25000건 이상은 50, 5000~10000건은 15, 1000건 미만은 3처럼 규모별 기준을 본문에 명시하고, 그 기준으로 걸러낸 뒤의 노드·엣지 수를 함께 제시하면 임계값 설정이 데이터 특성을 반영한 결정이었음을 보여줄 수 있다. 또한 매개·근접중심성 산출 전에 distance = 1/weight 변환을 거쳤는지, 정렬 기준을 Degree가 아니라 가중연결로 잡았는지도 확인 대상이 된다. 이 절차를 밝히지 않은 채 중심성 순위표만 제시하면 동률 처리 방식에 대한 질문을 받기 쉽다.
마치며
임계값은 데이터 규모에 맞춰 차등 적용하고, 중심성 계산 전 distance 변환과 가중연결 기준 정렬을 거쳐야 변별력 있는 네트워크가 나온다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.