토픽 3을 서비스 품질이라 부를 때 그 이름의 근거는 무엇인가.
무엇이 문제인가
토픽모델링을 돌리고 나면 연구자 앞에 남는 것은 숫자로 붙은 토픽과 그 안에 뭉쳐 있는 핵심 어휘 목록뿐이다. 여기서 많은 연구자가 어휘를 눈으로 훑고 "대충 이런 내용이니 이렇게 부르자"는 식으로 토픽명을 붙인다. 문제는 이 과정이 논문에 거의 기록되지 않는다는 점이다. 왜 토픽 3이 서비스 품질이고 토픽 5가 가격 민감도인지, 그 판단이 어디서 나왔는지를 본문에 적어두지 않으면 독자와 심사위원 눈에는 연구자 개인의 직관으로만 보인다. 토픽모델링 자체가 통계적으로 타당해도 명명 단계에서 근거가 끊기면 분석 전체의 객관성이 의심받는다. 명명은 분석의 부록이 아니라 분석의 마지막 단계이고, 그만큼 절차로 설명되어야 한다.
어떻게 하는가
토픽명은 한 사람의 감이 아니라 단계를 거쳐 확정해야 한다. 먼저 전문가가 각 토픽의 핵심 어휘를 보고 자유 기술 방식으로 명명을 제안하고, 동시에 그 명명이 토픽 내용을 얼마나 잘 대표하는지를 5점 척도로 평가한다. 이렇게 모인 제안들을 핵심 어휘 빈도 분석과 함께 놓고 연구진이 종합해 최종안을 확정한다. 이때 기준이 하나 더 있다. 핵심 어휘 중 빈도 3회 이상으로 걸러진 단어들을 결합해 최종 명칭을 추천하고, 이를 의뢰인이 검토하는 절차를 거친다. 또한 핵심 어휘 상위 3개에 들지 않는 단어는 토픽명의 수식어로 올리지 않는다는 원칙을 지켜야 한다. 상위권에 없는 단어를 임의로 수식어에 끌어오면 그 순간부터 명명은 다시 직관으로 돌아간다. 마지막으로 완성된 명칭은 단어를 나열한 형태가 아니라 학술 명사구로 정제한다. 예를 들어 "AI, 제철소, 안전"을 늘어놓는 대신 "AI 기반 제철소 안전관리"처럼 하나의 개념으로 다듬어야 논문에서 토픽명 자체가 분석 결과로 읽힌다.
심사위원이라면 여기를 본다
심사위원이 토픽명을 읽을 때 먼저 하는 일은 그 이름이 상위 키워드와 실제로 맞아떨어지는지 확인하는 것이다. 토픽명에 들어간 단어가 핵심 어휘 목록 어디에도 없거나, 상위권 밖의 단어가 수식어로 슬쩍 들어가 있으면 그 자리에서 자의적 명명이라는 지적이 나온다. 반대로 전문가 평가와 빈도 분석을 거친 절차가 본문에 명시되어 있으면, 토픽명 하나하나가 임의의 작명이 아니라 검증된 판단이라는 근거가 생긴다. 즉 심사위원은 토픽명의 세련됨이 아니라 그 이름이 어디서 왔는지를 본다.
마치며
토픽명은 전문가 명명과 중요도 평가, 빈도 분석, 연구진 종합과 의뢰인 검토를 거쳐 상위 핵심 어휘에서만 근거를 끌어와야 하며, 그렇게 정제된 학술 명사구여야 심사위원이 상위 키워드와 대조했을 때 자의적 명명이라는 지적을 피할 수 있다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.