최신 기법이 늘 정답은 아니다. 데이터 크기와 목적이 선택을 가른다.
무엇이 문제인가
토픽모델링을 소개하는 논문이나 보고서에서 요즘 나온 기법이라서, 혹은 더 정교해 보인다는 이유만으로 BERTopic을 선택하는 경우를 종종 본다. 반대로 오래 써온 기법이라는 이유만으로 LDA를 고수하는 경우도 있다. 두 경우 모두 왜 이 기법이어야 했는지에 대한 답이 없다는 점은 같다. 기법 선택에는 데이터의 특성과 연구가 얻으려는 결과물이 무엇인지가 먼저 와야 하고, 유행이나 관성은 그 다음이어야 한다.
어떻게 하는가
LDA는 확률적 생성모형이다. 문서가 여러 토픽의 혼합으로 생성된다고 가정하고, 분석자가 토픽 수 K를 미리 정해줘야 하며, 그 결과로 각 문서가 어떤 토픽을 얼마나 담고 있는지를 보여주는 문서-토픽 분포를 얻는다. BERTopic은 이와 달리 문장 임베딩을 기반으로 동작한다. 문장이나 짧은 텍스트가 가진 문맥적 의미를 임베딩으로 포착하기 때문에, 리뷰나 댓글처럼 문장이 짧고 문맥 의존도가 높은 데이터에서 강점을 보인다. 다만 어느 쪽을 선택하든 그 자체로 끝나는 것은 아니다. LDA로 뽑은 토픽이든 BERTopic으로 뽑은 토픽이든, 그 결과를 기존 이론이나 선행연구와 연결해 해석하지 못하면 학술적 기여로 인정받기 어렵다. 기법은 결과를 만드는 도구일 뿐이고, 그 결과를 이론과 잇는 작업은 별도로 필요하다.
심사위원이라면 여기를 본다
기법을 선택한 근거 없이 최신이라서, 혹은 다들 쓰니까라는 이유로 BERTopic이나 LDA를 채택하면 심사위원은 왜 이 방법을 썼는가를 묻는다. 이 질문에 데이터 특성이나 연구 목적으로 답하지 못하고 유행을 근거로 대면 방법론 전체의 타당성이 흔들린다. 데이터가 짧은 문장 위주인지, 문서 단위가 긴 텍스트인지, 문서-토픽 분포 같은 확률적 해석이 필요한지 아닌지를 먼저 밝히고, 그에 맞춰 기법을 골랐다는 순서를 답변에 담아야 한다.
마치며
LDA와 BERTopic은 서로 다른 원리로 토픽을 뽑아내는 도구이므로, 데이터 특성과 연구 목적에 맞춰 고른 이유를 밝혀야 하고 뽑힌 토픽은 이론과 연결해 해석해야 학술적 기여로 인정받는다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.