호텔 리뷰 별점 말고 문장 속 '진짜 감정', AI는 얼마나 맞힐까?

무슨 연구인가

우리가 여행지 호텔 리뷰를 읽을 때 별점만 보고 넘기기 쉽지만, 정작 중요한 건 문장 속에 담긴 만족과 불만의 결입니다. 이 연구는 발리 호텔 리뷰를 최신 AI 언어모델 다섯 개에게 학습시켜, 어느 모델이 고객의 감정을 가장 정확히 읽어내는지 겨뤄봤어요.

🔬 어떻게 분석했나

① 먼저 데이터를 모았어요 — 발리 호텔 리뷰 모음(BHRC)에 영화 리뷰 같은 세계적 표준 데이터셋(IMDb·SST 등) 4종을 더했습니다. 여러 종류의 글로 시험해야 결과를 믿을 수 있으니까요.
② 데이터가 한쪽으로 쏠린 문제를 손봤어요 — 긍정 리뷰는 많은데 부정 리뷰가 적으면 AI가 부정을 잘 못 배웁니다(클래스 불균형). 그래서 ChatGPT에게 부족한 쪽 리뷰와 '뜻은 같지만 표현만 다른' 문장을 새로 만들게 해 수를 채웠어요. 이걸 데이터 증강이라고 합니다.
③ 다섯 명의 AI를 붙였어요 — BERT·DistilBERT·RoBERTa·ELECTRA·GPT-2에게 똑같은 리뷰를 주고 '이 글은 긍정일까 부정일까'를 맞히게 했습니다. 이 모델들은 문장을 앞뒤 맥락째로 읽어 의미를 숫자로 바꾸는(임베딩) 딥러닝 모델이에요.
④ 성적을 비교했어요 — 누가 감성을 가장 정확히 분류하는지 정확도로 줄을 세웠습니다.

📊 무엇을 찾았나

데이터 균형을 맞췄을 때 ELECTRA가 정확도 99.96%로 1등을 했어요 — 리뷰 1만 건을 주면 사실상 거의 다 맞히는 수준입니다. ELECTRA는 '누가 몰래 단어를 바꿔치기했는지 찾아내는' 방식으로 미리 훈련받아, 특정 분야 글 분류에 특히 강했다고 해요.

💡 내 연구에 가져갈 것

리뷰 감성분석에서 긍정·부정 데이터가 한쪽으로 쏠렸다면, 모델부터 바꾸지 말고 소수 쪽을 증강해 균형부터 맞춰보세요.

📄 논문 정보

Appraising Customer Experience from Hotel Reviews using Text-Based Transformers
Fiqi Amali, Halil Yiğit, Zeynep Hilal Kilimci
Kocaeli Journal of Science and Engineering · 2026-07-29 · 🔓 오픈액세스
원문 보기 ↗