가장 자주 잡히고 가장 신뢰를 깎는 결함은 거창한 통계적 오류가 아니라, 표와 본문의 수치 불일치다.
무엇이 문제인가
분석은 보통 한 번에 끝나지 않는다. 전처리를 손보거나 파라미터를 바꿔서 분석을 다시 돌리는 일이 반복되고, 그때마다 표와 그림은 새 결과로 갈아끼운다. 문제는 본문 서술이다. 표는 스크립트 출력을 복사해 넣어 금방 갱신되지만, 본문에 풀어서 적은 문장 속 수치는 손으로 고쳐야 하기 때문에 갱신에서 빠지기 쉽다. 그 결과 표에는 새 수치가, 본문에는 이전 분석 때 적어둔 수치가 그대로 남아 서로 어긋나는 일이 생긴다. 같은 계열의 결함으로, 그림에 식별되지 않는 노드나 토픽을 본문에서 구체적으로 묘사하는 경우도 있다. 그림을 다시 그릴 때 레이블이나 배치가 바뀌었는데 그 그림을 가리키는 본문 설명은 예전 버전을 묘사하고 있는 식이다.
어떻게 하는가
가장 기본적인 방어는 본문에 등장하는 모든 수치를 표·그림과 1:1로 대조하는 작업이다. 토픽 비중, 중심성 값, 비율 등 본문에서 숫자로 언급한 모든 문장을 표의 해당 셀과 나란히 놓고 하나씩 확인한다. 이 대조를 매번 수동으로 반복하는 대신, 본문 서술 수치 자체를 하드코딩하지 않고 분석 데이터에서 자동으로 생성하는 방식이 더 근본적인 해법이다. 예컨대 본문 문장을 f-string처럼 변수 참조로 작성해두면, 분석을 재실행해서 표가 바뀌어도 본문 수치가 같은 소스에서 다시 채워지므로 둘이 어긋날 일이 없다. 그림에 등장하는 노드나 토픽을 본문에서 언급할 때도 그림의 실제 레이블을 그대로 가져와 묘사해야, 그림이 갱신돼도 본문 설명이 그림과 따로 놀지 않는다.
심사위원이라면 여기를 본다
심사위원은 표 전체를 재현해서 검증하지 않아도, 본문에 적힌 토픽 비중 하나가 표의 숫자와 다르다는 사실만 발견하면 분석 전체의 정확성을 의심하기 시작한다. 한 군데의 불일치가 다른 수치들도 검증 없이 손으로 옮겨 적었을 거라는 추정으로 이어지기 때문이다. 그림에서 찾을 수 없는 노드를 본문이 설명하는 경우도 마찬가지로, 그림과 본문이 같은 분석 결과에서 나온 것인지 의심하게 만든다. 반대로 본문의 모든 수치가 표·그림과 정확히 맞아떨어지면, 그 자체로 분석이 끝까지 한 번의 파이프라인으로 일관되게 처리됐다는 증거가 된다.
마치며
표만 갱신하고 본문 서술은 그대로 두면 재실행마다 불일치가 쌓이므로, 본문 수치를 데이터에서 자동으로 채우고 그림의 레이블을 그대로 인용하는 습관이 전체 결과의 신뢰성을 지키는 가장 값싼 방법이다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.