인문학 도상 연구에서 "같은 존상인지 아닌지"를 사람 눈으로 하나씩 대조하면 오래 걸린다. 심사에서 "그 유형 분류는 무슨 기준이었나"라고 물으면 답이 "제가 봤을 때"로 끝나는 경우도 많다. 그 답을 코드로 바꿀 수 있을까.
무엇을 분석했나
국내 사찰 문화재(불교 나한상) 개체 사진 526점을 대상으로 도상(圖像) 연구를 자동화했다. 의뢰인은 같은 존상의 보수 전·후 두 시점 사진을 갖고 있었지만, 번호·명칭 체계가 서로 달라 수작업으로 짝을 맞추고 유형을 나누기 어려운 상태였다.
먼저 Claude Vision API(멀티모달)로 각 사진을 읽어 자세·머리·표정·수인(手印)·지물(持物)·착의(着衣)의 6축 도상 관찰표를 자동 생성했다. 선행연구에서 추출한 학술 명사구 사전을 프롬프트에 주입해, AI가 임의로 말을 지어내지 않고 연구자가 실제로 쓰는 용어로만 기술하도록 통제했다.
무엇이 나왔나
첫째, 두 종류 임베딩을 병용한 군집화. 6축 관찰 문장을 텍스트 임베딩으로 벡터화하고, 색을 배제한 형태 임베딩을 함께 써서 KMeans 군집화를 수행했다. 관찰 어휘(텍스트)와 형태(비언어 정보)를 따로 뽑되 결합해, 문장 표현의 편차가 유형 분류를 흔들지 않도록 했다.
둘째, 상호 최근접 매칭으로 보수 전후 쌍 연결. 번호 체계가 달라 수작업 대조가 어려웠던 보수 전·후 동일 존상을, 상호 최근접(bidirectional nearest-neighbor) 매칭으로 형태 기준 연결했다. 이름이 아니라 형태로 짝을 맞춘 셈이다.
셋째, 4개 유형·26점 대표 표본. 변별 특징이 뚜렷한 대표 표본 26점을 확정하고, 최종적으로 동물을 안은 유형·지물을 든 유형·호탕·과장 표정 유형·두건·가사 유형의 4개 도상 유형으로 정리했다. 각 유형은 대표상의 6축을 정밀 비교하고, 보수 전·후 세부 조형 변화까지 함께 기술했다.
심사위원이라면 여기를 본다
포인트 1 — 관찰 어휘의 출처. AI가 도상을 "그럴듯하게" 묘사하는 것과 "연구자가 실제로 쓰는 용어로" 묘사하는 것은 다르다. 선행연구 학술 명사구 사전을 프롬프트에 주입해 어휘 출처를 통제했다는 점이 "이 표현은 어디서 왔나"라는 질문에 대한 방어선이다.
포인트 2 — 색이 아니라 형태로 매칭한 근거. 보수 전후에는 채색이 달라질 수 있다. 색을 배제한 형태 임베딩으로 상호 최근접 매칭을 수행했다는 설계 자체가 "왜 색이 아니라 형태 기준이었나"라는 질문에 대한 답이다.
포인트 3 — 유형 분류의 재현 가능성. 4개 유형은 감으로 나눈 게 아니라 텍스트·형태 임베딩에 KMeans 군집화를 적용한 결과다. 관찰표·임베딩·군집 근거를 코드로 즉시 제시할 수 있다.
마치며
이미지라는 비정형 데이터를 정량·정성 근거가 있는 학술 서술로 바꾸면, "이 분류를 어떻게 도출했는가"라는 질문에 코드로 답할 수 있다.
비슷한 이미지·멀티모달 분석이 필요하다면 텍스트마이닝 분석 페이지에서 진행 방식을 확인할 수 있다. 분석 설계 관련 소식은 뉴스레터 「강의실의 AI」 구독 시 받아볼 수 있다.