토픽 수(K)를 몇 개로 정할지, 이 키워드가 왜 담론의 중심인지를 물으면 대개 "감으로 정했다"는 답이 돌아온다. 표준 파이프라인은 이 두 질문에 곡선과 지표로 답하도록 설계되어 있다.
무엇을 분석했나
내부 표준화 작업으로, 실제 의뢰 데이터가 아닌 샘플 코퍼스에 동일한 5단계 파이프라인을 그대로 적용해 산출물의 형태와 품질을 미리 확인할 수 있도록 구성했다. 2026년 01월 진행했으며, Python 기반으로 Gensim, KoNLPy, scikit-learn, NetworkX, pandas, matplotlib, wordcloud 라이브러리를 사용했다.
분석은 5단계 표준 파이프라인으로 진행된다. ① LDA 토픽모델링에서 토픽 수(K)를 임의로 정하지 않고 Coherence Score 곡선으로 데이터 기반으로 결정한다. ② 확정된 K로 각 토픽의 상위 키워드와 가중치를 추출한다. ③ 문서가 토픽별로 어떻게 분포하는지, 각 토픽의 평균 소속 확률은 어느 정도인지를 정량화한다. ④ 키워드 동시출현 네트워크를 구축해 연결·매개 중심성, PageRank, 커뮤니티 탐지 등 다차원 지표로 구조를 분해한다. ⑤ 고빈도 어휘와 2-gram(바이그램) 빈도를 워드클라우드·통계 그래프로 요약한다. 사용 기법은 LDA(Blei, Ng & Jordan, 2003), Coherence 기반 K 탐색, 동시출현 네트워크 중심성 분석, TF-IDF 가중치, 2-gram 빈도분석이다.
무엇이 나왔나
첫째, 토픽 수(K) 결정 근거를 Coherence Score 곡선 하나로 제시할 수 있다는 점. K를 임의로 정하지 않고 데이터 기반으로 결정함으로써, "왜 토픽을 이 개수로 정했는가"라는 질문에 곡선 그림으로 곧바로 답할 수 있다.
둘째, 키워드 네트워크를 연결·매개 중심성, PageRank, 커뮤니티 탐지까지 다차원으로 분해했다는 점. 동시출현 네트워크를 시각화하는 데 그치지 않고, 여러 중심성 지표와 커뮤니티 탐지를 함께 산출해 "이 키워드가 왜 중심인가"를 지표로 뒷받침한다.
셋째, 최종 산출물이 통합 보고서(HWP)·분석 데이터(Excel)·고해상도 시각화(PNG) 세 형태로 고정되어 있다는 점. 분석 방법·단계별 결과·해석을 담은 보고서와 원자료, 그림을 함께 납품해 결과를 검증 가능한 형태로 제공한다.
심사위원이라면 여기를 본다
포인트 1 — 토픽 수 결정을 재현 가능한 지표로 대체. K를 감이 아니라 Coherence Score 곡선으로 정하면, 같은 데이터에 같은 절차를 적용했을 때 같은 K가 다시 나온다. 이 재현성이 심사 과정에서 "왜 이 개수인가"라는 질문에 대한 방어선이 된다.
포인트 2 — 중심성 지표를 하나만 쓰지 않는다. 연결 중심성만으로는 놓치는 매개 허브를 매개 중심성이 잡고, PageRank는 가중치 흐름을, 커뮤니티 탐지는 하위 군집 구조를 각각 보여준다. 지표 하나로 결론을 내리지 않고 다차원으로 교차 확인하는 구조다.
포인트 3 — 바이그램 분석을 단순 빈도표가 아닌 네트워크로도 제시. 2-gram 빈도 통계와 별도로 바이그램 연결 구조 네트워크를 함께 산출해, 어휘 조합이 실제로 어떻게 이어지는지를 빈도표만으로는 보이지 않는 방식으로 드러낸다.
마치며
토픽 수를 몇 개로 할지, 어떤 키워드가 중심인지는 감이 아니라 곡선과 지표로 답할 수 있어야 한다.
비슷한 표준 프로세스 기반 텍스트마이닝 분석이 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 분석 설계 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.