이름대기(naming) 검사에서 "맞았는가"만큼 중요한 건 "얼마나 걸려서 맞았는가"다. 종이 기록으로는 반응 여부는 남길 수 있어도, 단서(cue) 제시 전후의 반응시간 차이까지 정확히 잡아내기는 어렵다. 한 지역 언어재활센터가 실어증 환자의 이름대기 능력을 정밀하게 측정할 디지털 도구를 요청한 것도 이 지점에서였다.
무엇을 분석했나
먼저 검사자용 웹앱을 개발했다. 문항이 화면에 뜨는 순간부터 밀리초 단위로 반응시간이 자동 계측되고, 검사자는 클릭 한 번으로 '자발명명 정반응 / 단서 제시 후 반응 / 오반응·무반응'을 구분해 기록한다. 직전 문항 되돌리기, 실시간 세션 요약, 피험자·문항별 자동 CSV 저장까지 포함해 수집 원자료가 곧바로 통계분석 파이프라인으로 이어지도록 설계했다.
수집 대상은 경도 실어증 환자군과 정상대조군이다. 반응시간(RT) 정규성을 Shapiro-Wilk 검정으로 먼저 확인한 뒤, 그 결과에 따라 검정을 나눠 적용했다. 자발명명과 단서 후 반응의 차이는 Wilcoxon 부호순위 검정, 난이도(쉬움·보통·어려움) 효과는 반복측정 ANOVA와 Bonferroni 사후검정, 집단 간 차이는 Mann-Whitney U / t-검정, 트리거 비율은 카이제곱 검정으로 각각 분석했다.
무엇이 나왔나
첫째, 반응 구조를 3분류로 계측했다는 점. '자발명명 정반응 / 단서 제시 후 반응 / 오반응·무반응'을 밀리초 단위 시간과 함께 기록해, 기존 종이 기록이 놓치던 반응 유형별 시간차를 데이터로 남겼다.
둘째, 정규성 검정이 분석 경로를 갈랐다는 점. Shapiro-Wilk 결과에 따라 모수·비모수 검정을 나눠 쓰는 구조라, "왜 이 검정을 썼는가"에 대한 답이 데이터 특성에서 바로 나온다.
셋째, 모든 검정에 효과크기를 병기했다는 점. Cohen's d, partial η², Cramér's V를 검정 종류에 맞춰 함께 보고했고, 검사 도구 자체의 신뢰도도 Cronbach's α로 평가했다.
심사위원이라면 여기를 본다
포인트 1 — 검정 선택의 근거를 흐름도로. 어떤 데이터 특성에서 어떤 기법을 선택했는지를 결정 트리와 분석 흐름도로 정리해, "왜 이 검정인가"라는 질문에 그림으로 답할 수 있게 했다.
포인트 2 — p값만 보고하지 않았다. Wilcoxon·ANOVA·Mann-Whitney U/t-검정·카이제곱 전부에 Cohen's d, partial η², Cramér's V 중 해당하는 효과크기를 병기해, 유의성과 별개로 효과의 크기를 방어할 수 있다.
포인트 3 — 도구 자체의 신뢰도 검증. 결과 해석에 앞서 검사 도구의 신뢰도를 Cronbach's α로 먼저 확인해, "이 검사 도구를 믿을 수 있는가"라는 질문에도 답을 준비해 뒀다.
마치며
검사 도구를 만드는 일과 그 데이터를 통계로 검증하는 일은 따로 떨어져 있지 않다. 도구 설계 단계에서부터 어떤 검정을 쓸지 염두에 두면, 원자료 수집과 통계분석 사이의 간극이 줄어든다.
비슷한 임상·검사 도구 데이터의 통계분석이 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 분석 설계 노하우는 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.