전문가 타당도를 숫자로 - CVR

전문가에게 물어봤다는 말은 근거가 아니다. 몇 명 중 몇 명이 필수라고 했는지가 근거다.

무엇이 문제인가

설문이나 척도를 개발하는 연구에서 "전문가 자문을 거쳐 타당도를 확보했다"는 서술로 내용타당도 검증을 마무리하는 경우를 자주 본다. 전문가들이 동의했다는 서술 자체는 틀리지 않지만, 몇 명의 전문가 중 몇 명이 어떤 기준으로 동의했는지를 밝히지 않으면 그 동의는 숫자로 뒷받침되지 않는 주장에 머문다. 심사 과정에서는 전문가 자문이라는 서술만으로는 특정 항목이 왜 남았고 왜 빠졌는지를 설명할 수 없다는 지적을 받기 쉽다.

어떻게 하는가

이 문제를 다루는 방법이 내용타당도비율(CVR, Content Validity Ratio)이다. 전문가들에게 각 항목이 얼마나 필수적인지를 평가하게 한 뒤, 4점 이상(필수)으로 응답한 전문가 수(Ne)를 전체 응답자 수(N)로 환산해 CVR = (Ne - N/2) / (N/2) 공식으로 계산한다. Lawshe(1975)가 제시한 기준에 따르면 이 값이 넘어야 하는 임계값은 전문가 수에 따라 달라지는데, 전문가가 10명이면 0.62, 11명이면 0.59, 15명이면 0.49 이상이어야 한다. 임계값에 못 미치는 항목은 제거하거나 재검토 대상으로 분류한다.

심사위원이라면 여기를 본다

심사위원은 타당도 검증이 서술로만 끝나는지, 숫자로 뒷받침되는지를 본다. "전문가 자문을 통해 타당도를 확보했다"는 문장만 있고 항목별 CVR 값이나 임계값 비교가 빠져 있으면, 어떤 기준으로 항목을 남기고 뺐는지 알 수 없다는 지적을 받는다. 전문가 검증 절차만 기술하고 타당도 지표를 제시하지 않는 것은 근거 부족으로 읽히는 흔한 패턴이다.

마치며

전문가에게 물어봤다는 서술과, 몇 명 중 몇 명이 필수라고 했는지를 CVR로 환산한 숫자는 심사에서 받아들여지는 근거의 층위가 다르며, 내용타당도를 주장하려면 항목별 CVR 값과 Lawshe 임계값 비교를 먼저 제시해야 한다.

텍스트마이닝 분석 설계가 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 방법론 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.