무슨 연구인가
파트라스 대학교에 2018년부터 2023년까지 쌓인 이메일 13,637통이 있었어요. 사람이 하나하나 읽어 분류하기엔 너무 많죠. 그래서 연구진은 '컴퓨터가 알아서 숨은 주제를 찾아내게 하자'며 토픽모델링을 돌렸습니다.
🔬 어떻게 분석했나
- ① 먼저 이메일을 정리했어요 — 서명·머리말 같은 군더더기를 걷어내고 본문만 남겼습니다. 재료를 다듬는 손질 단계예요.
- ② 글을 숫자 좌표로 바꿨어요(임베딩) — BGE-M3라는 모델로, 뜻이 비슷한 문장일수록 가까운 위치에 놓이게 했습니다. 그래야 컴퓨터가 '의미'를 거리로 계산할 수 있거든요.
- ③ 좌표를 압축했어요(PCA·UMAP) — 수백 차원짜리 좌표는 너무 복잡해서, 지도를 2~3차원으로 줄이듯 핵심만 남겨 압축했습니다.
- ④ 비슷한 메일끼리 묶었어요(HDBSCAN) — 미리 '주제 몇 개'라고 정하지 않아도, 빽빽하게 모인 곳을 하나의 주제로 보고 어디에도 안 붙는 애매한 글은 '미분류'로 남기는 방법입니다.
- ⑤ 설정을 200번 자동으로 조율했어요(Optuna) — 사람이 손으로 숫자를 바꿔보는 대신, 컴퓨터가 200번 실험하며 가장 좋은 설정을 스스로 찾게 했습니다.
- ⑥ 잘 묶였는지 점수를 매겼어요 — 의미응집도(coherence)·NPMI라는 '한 주제 안의 단어들이 서로 얼마나 잘 어울리나'를 재는 지표로, 다른 방법(k-means·Ward)과 성적을 비교했습니다.
📊 무엇을 찾았나
16개 주제·107개 세부 묶음을 찾아냈고, 응집도 0.8111로 경쟁 방법들을 근소하게 앞섰어요. 놀라운 건 시간 정보를 안 줬는데도 2020년 3월 코로나 급증, 그해 7월 총장선거 같은 실제 사건이 주제 흐름에 그대로 나타났다는 점입니다.
💡 내 연구에 가져갈 것
주제 개수를 미리 못 정하겠고 '애매한 글'이 많은 데이터라면, LDA보다 임베딩+HDBSCAN 조합부터 시도해보세요.
📄 논문 정보
Topic modeling of the historic file tovima of the University of Patras
Δημήτριος Περδικούρης
Νημερτής · 2026-10-12
원문 보기 ↗
이 글은 연구 소개를 위한 해설이며, 논문 원문의 저작권은 저자와 출판사에 있습니다. 원문은 위 링크(DOI)에서 확인하실 수 있습니다. 권리자께서 요청하시면 바로 내리겠습니다.