군집이 흔들림 없이 나왔으니, 이 결과 믿어도 될까?

무슨 연구인가

텍스트를 컴퓨터에게 자동으로 분류시키면, 비슷한 문장끼리 '군집'으로 묶어줍니다. 그런데 같은 데이터를 다시 돌려도 같은 군집이 나오면 '재현성이 있다'며 안심하기 쉽죠. 이 연구는 그 안심이 함정일 수 있다고 경고합니다.

🔬 어떻게 분석했나

① 문장을 숫자 좌표로 바꿨어요(임베딩) — 뜻이 비슷한 문장일수록 가까운 위치에 놓이게 하는 기술이라, 컴퓨터가 '의미'를 거리로 계산할 수 있게 됩니다.
② 좌표들이 빽빽하게 모인 '봉우리'를 찾아 군집으로 묶었어요(MeanShift) — 미리 군집 개수를 정해주지 않아도 데이터가 알아서 몇 덩어리인지 찾아주는 방식입니다.
③ 데이터를 서로 겹치지 않게 여러 번 쪼개 다시 돌려봤어요 — 매번 비슷한 군집이 나오면 '재현된다'고 보는 겁니다. 두 데이터셋에서 일치도가 100점 만점에 93~96점 수준으로 아주 높게 나왔어요.
④ 일치도를 한 가지 잣대로만 보지 않고 ARI·AMI·NMI 같은 여러 지표로 교차 확인했어요 — 저마다 조금씩 다른 방식으로 '두 군집 결과가 얼마나 겹치나'를 재는 자들입니다.
⑤ 그런데 반전 — 일부러 탈락시킨 '뭉뚱그린' 군집안이, 채택된 세밀한 군집안보다 오히려 더 안정적으로 나오는 경우가 있었어요.

📊 무엇을 찾았나

안정성 점수만 보면 오히려 대충 묶은 결과가 더 '튼튼'해 보이는 역전 현상이 반복됐습니다. 즉 '흔들리지 않는다'는 것과 '제대로 나눴다'는 건 별개라는 뜻이죠 — 시험을 매번 똑같이 틀린다고 해서 정답인 건 아닌 것처럼요.

💡 내 연구에 가져갈 것

토픽·군집 개수를 정할 때 재현성 지표 하나만 믿지 말고, 실제 내용이 말이 되는지 사람 눈으로 꼭 확인하세요.

📄 논문 정보

Stability-Aware Auditing of Latent Regions in Sentence Embedding Spaces: Guarding Against Granularity Collapse in Unsupervised Text Analytics
Yi Lin, Chien-Hung Lai
Applied Sciences · 2026-09-22
원문 보기 ↗