전문가 5명의 순위가 제각각이면 그 평가는 못 믿는다. 그런데 너무 일치해도 함정이 있다.
무엇이 문제인가
여러 평가자(전문가, 코더, 심사자)에게 같은 대상들을 순위 매기게 하거나 점수를 준 뒤, "평가자 간 일치도가 높다"는 한 문장으로 신뢰도를 주장하는 경우가 많다. 그런데 일치도를 숫자로 제시하지 않으면 그 주장은 검증할 수 없다. 반대로 숫자를 제시했더라도 값이 낮게 나왔을 때 그 원인을 따지지 않고 바로 "평가자들이 합의하지 못했다"로 단정하면, 실제로는 평가 자체의 변별력 문제일 수 있는 상황을 잘못 해석하게 된다.
어떻게 하는가
여러 평가자의 순위 일치도를 검정하는 대표적 방법이 Kendall & Babington Smith(1939)가 제시한 Kendall's W(일치도 계수)다. 공식은 W = 12S / (k²(n³-n) - kT)로, k는 평가자 수, n은 평가 대상 수, S는 순위 합의 편차 제곱합이고, 동순위(tie)가 있을 때는 보정항 T를 포함해 계산한다. 유의성 검정은 카이제곱 = k(n-1)W로 수행한다. 값의 해석 기준은 W가 0.7 이상이면 강한 일치, 0.5~0.7이면 중간 수준의 일치, 0.5 미만이면 약한 일치로 본다.
여기서 주의할 지점이 천장효과다. 평가자들이 점수를 4~5점(최고점 구간)에 몰아서 준 경우, 응답 자체는 비슷해 보여도 순위 간 변별력이 줄어들어 W가 낮게 산출될 수 있다. 이때 W가 낮은 이유는 평가자들이 서로 다른 의견을 가져서가 아니라, 점수 분포가 상한에 몰려 순위 차이를 만들어낼 여지가 줄었기 때문이다. 즉 낮은 W를 보고하기 전에 점수 분포를 먼저 확인해, 일치도 부족과 천장효과로 인한 변별력 한계를 구분해야 한다.
심사위원이라면 여기를 본다
심사위원은 W가 낮게 나왔을 때 그 숫자 하나만으로 "평가자 간 합의에 실패했다"고 쓰여 있는지를 본다. 점수 분포를 함께 제시하지 않고 W 수치만 보고하면, 천장효과로 인한 변별력 한계인지 실제 의견 불일치인지 구분할 수 없다는 지적을 받기 쉽다. W가 낮다고 무조건 합의 실패로 서술하는 것은 천장효과라는 대안적 설명을 놓친 해석이다.
마치며
평가자 간 일치도는 "일치도가 높다"는 서술이 아니라 Kendall's W 값과 유의성 검정으로 제시해야 하며, W가 낮게 나왔을 때는 점수 분포를 확인해 천장효과로 인한 변별력 한계인지 실제 불일치인지를 구분해야 심사에서 방어할 수 있다.
텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.