아랍어 글을 AI한테 '주제별로 묶어봐' 하면 뭐가 제일 잘할까?

무슨 연구인가

뉴스 기사 수천 개를 사람이 일일이 주제별로 분류하긴 힘들죠. 그래서 AI에게 '비슷한 글끼리 알아서 묶어줘'라고 시키는데, 이걸 문서 클러스터링이라고 합니다. 이 연구는 영어보다 자료가 적은 아랍어에서, 어떤 AI 모델과 방법 조합이 가장 깔끔하게 묶어내는지 끝까지 비교해봤어요.

🔬 어떻게 분석했나

① 먼저 재료를 모았어요 — 일반 주제부터 전문 분야까지 아랍어 데이터셋 5개를 준비했습니다. 묶기 시합에 쓸 '정답표'가 있는 데이터예요.
② 글을 숫자 좌표로 바꿨어요(임베딩) — AraBERTv2, CAMeLBERT 같은 아랍어 특화 AI 6종을 썼습니다. 임베딩은 뜻이 가까운 문장일수록 가까운 위치에 놓이게 하는 기술이라, 컴퓨터가 '의미'를 거리로 계산할 수 있게 해줍니다. 비교용으로 단어 빈도만 세는 옛날 방식(TF-IDF)도 함께 넣었고요.
③ 이 좌표들을 4가지 '묶기 기계'에 돌렸어요 — K-Means++, 계층적 군집(HAC) 등 서로 다른 방식의 클러스터링 알고리즘입니다. 같은 재료라도 묶는 방법이 다르면 결과가 달라지니까요.
④ 전처리도 6가지로 바꿔봤어요 — 특히 '어간 깎기'를 세게 할지 약하게 할지가 관건이었습니다. 아랍어는 단어 형태 변화가 심하거든요.
⑤ 마지막으로 점수를 매기고 통계로 검증했어요 — NMI·정확도 등 7개 지표로 재고, Friedman 검정으로 '이 차이가 우연이 아니라 진짜 차이냐'까지 확인했습니다.

📊 무엇을 찾았나

아랍어 단어를 억지로 깎지 않고 원래 모양을 살렸을 때 묶기 성능이 더 좋았고, AI 모델 중에선 AraBERTv2가 종합 1위를 차지했어요. 묶기 방법은 Spherical K-Means가 가장 흔들림 없이 안정적이었습니다.

💡 내 연구에 가져갈 것

영어가 아닌 언어로 텍스트 묶을 일 있으면, 전처리로 단어를 과하게 다듬지 말고 원형을 살려보세요. 깎을수록 좋아질 거란 직관이 종종 틀립니다.

📄 논문 정보

Benchmarking Arabic Transformer‐Based Language Model Embeddings for Document Clustering: A Comparative Study
Rana Husni Al Mahmoud, Hanan Saleet
Expert systems · 2026-10-16
원문 보기 ↗