"언론이 말하는 AX, 학계가 연구하는 AX, 실제 기술개발로 이어지는 AX가 같은 이야기인가." 국내 철강산업의 AI 전환(AX) 담론을 다루던 의뢰인이 던진 질문이다. 담론은 서로 다른 세 곳에서 동시에 만들어지는데, 그 담론들이 실제로 맞물려 있는지는 감으로 답할 수 있는 문제가 아니었다.
무엇을 분석했나
뉴스 빅데이터 아카이브(사회 트랙), 국제 학술논문 색인(연구 트랙), 국가 R&D 과제 정보(기술 트랙) 세 트랙을 2018~2025년 구간으로 수집·정제했다. 노이즈 제거 → 도메인 불용어 → 한국어 형태소 분석 → 영어 표제어 추출 → 유사어 통합의 5단계 전처리를 트랙별로 동일하게 적용해 세 개의 독립된 코퍼스를 구축했다.
각 코퍼스에는 같은 파이프라인을 적용했다. TF-IDF로 트랙별 핵심어를 비교하고, 키워드 동시출현 네트워크에서 연결·매개·근접 중심성을 산출했으며, LDA 토픽모델링은 트랙마다 Coherence 곡선을 그려 최적 토픽 수를 각각 K=4·5·3으로 결정했다.
무엇이 나왔나
첫째, 트랙마다 다른 최적 토픽 수 자체가 신호다. 세 트랙의 최적 토픽 수가 K=4·5·3으로 서로 다르게 나왔다는 건 세 담론장이 AX를 서로 다른 해상도로 다루고 있다는 뜻이다.
둘째, 트랙 간 정합성은 수치로 측정된다. 세 트랙의 토픽 키워드 집합을 Jaccard 유사도로 교차 비교해 히트맵으로 제시했다. 어느 트랙 쌍이 겹치고 어디서 갈라지는지를 문장이 아니라 정량 지표로 보여준다.
셋째, 결과의 값은 재현성에 있다. 모든 표·본문 수치는 원본 데이터에서 자동 생성되어 재현 가능하며, 분석 산식은 원전 출처(TF-IDF: Salton & Buckley 1988, LDA: Blei et al. 2003)와 함께 명시했다.
심사위원이라면 여기를 본다
포인트 1 — 토픽 분류의 자의성 방어. "이 토픽 분류가 자의적 아니냐"는 심사·보고 단계의 전형적 공격이다. 트랙 간 Jaccard 정합성 검증을 붙이면 "동일 담론이 독립된 세 데이터 소스에서 교차 확인된다"는 수치로 대응할 수 있다.
포인트 2 — 토픽 수 K의 근거. 트랙별로 각각 K=4·5·3으로 다르게 나온 값은 임의가 아니라 각 트랙의 Coherence 곡선에서 도출한 값이다. "왜 트랙마다 토픽 수가 다른가"라는 질문에 곡선 그림으로 답이 준비돼 있다.
포인트 3 — 산식 출처 명시. TF-IDF와 LDA 모두 원전 문헌을 함께 표기해, 방법론이 임의로 고른 도구가 아니라 검증된 산식임을 보인다.
마치며
언론·학계·기술이 같은 단어(AX)를 쓴다고 같은 이야기를 하는 건 아니다. 이 차이를 감이 아니라 교차 검증 수치로 특정하는 것이 비교 텍스트마이닝의 값이다.
산업 담론 비교나 다중 데이터 소스 정합성 분석이 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 분석 설계 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.