한계를 감추면 신뢰를 잃고, 드러내면 오히려 신뢰를 얻는다.
무엇이 문제인가
연구자들이 가장 피하고 싶어 하는 문단이 한계(limitations)다. 분석을 애써 완성해 놓고 마지막에 스스로 약점을 나열하는 일이 내키지 않기 때문이다. 그래서 한계 문단을 아예 빼거나, "본 연구는 일부 한계가 있다"는 한 줄만 적고 넘어가는 경우가 많다. 텍스트마이닝은 데이터 수집부터 전처리, 분석 단계마다 연구자의 선택이 들어가는 방법이어서 한계가 반드시 존재하는데, 이를 생략하면 심사위원은 연구자가 자기 분석의 경계를 모른다고 읽는다. 결국 한계를 안 쓰는 쪽이 오히려 더 의심을 산다.
어떻게 하는가
텍스트마이닝 연구에는 되풀이되는 정형 한계가 있다. 첫째, 데이터 대표성이다. 수집한 텍스트가 분석 대상 전체를 대표하는지, 특정 시기나 특정 집단에 치우친 것은 아닌지를 밝혀야 한다. 둘째, 사전 기반 분석의 포괄성이다. 감성사전이나 주제사전을 쓰는 분석은 사전에 등록되지 않은 표현, 신조어, 반어적 표현을 포착하지 못한다는 한계를 안고 간다. 셋째, 형태소 분석 정밀도다. 형태소 분석기가 완벽하지 않은 이상 품사 태깅과 분절 오류가 섞여 들어갈 가능성을 인정해야 한다. 넷째, 매체 특성 편향이다. 데이터를 수집한 플랫폼이나 매체의 이용자 특성이 결과에 반영되어, 그 매체 밖의 집단에는 그대로 적용하기 어렵다. 여기에 온라인 데이터 전반에 걸리는 문제도 함께 적어야 한다. 온라인에 글을 남기는 사람은 모집단에서 무작위로 추출된 것이 아니라 스스로 의견을 표현하기로 선택한 사람들이므로, 자기선택 편향이 존재하고 그만큼 일반화할 수 있는 범위도 좁아진다는 점을 명시해야 한다. 다만 한계를 나열하는 데서 끝내지 않는다. 각 한계를 인정한 다음, 그럼에도 본 연구가 유효한 이유를 같은 문단에서 함께 서술해야 한계 서술이 자기 연구를 깎아내리는 글이 아니라 연구 설계의 신중함을 보여주는 글이 된다.
심사위원이라면 여기를 본다
심사위원이 한계 문단에서 확인하는 것은 한계의 개수가 아니라 연구자가 자기 결과를 어디까지 적용할 수 있다고 보는지다. 한계 논의가 없으면 일반화 범위가 불명확해지고, 이는 그대로 거절 사유로 이어진다. 데이터 대표성이나 매체 편향을 언급하지 않은 채 결론에서 범위를 넘어선 일반화를 시도하면, 심사위원은 저자가 자기 분석의 경계를 인식하지 못했다고 판단한다. 반대로 한계를 구체적으로 짚고 그 안에서 결론의 적용 범위를 스스로 좁혀두면, 분석 자체의 완성도와는 별개로 연구자의 신중함이 신뢰로 이어진다.
마치며
한계는 연구의 약점을 들추는 문단이 아니라 연구의 적용 범위를 스스로 정하는 문단이며, 데이터 대표성·사전 포괄성·형태소 분석 정밀도·매체 편향과 온라인 데이터의 자기선택 편향을 구체적으로 짚고 그 범위 안에서 결론을 세우면 심사위원이 거절 사유로 쓸 자리를 미리 없애는 것이다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.