AI가 살짝 고쳐 쓴 글, 사람 글이랑 구별할 수 있을까?

무슨 연구인가

요즘 AI는 글을 처음부터 써주기도 하고, 사람이 쓴 글을 매끄럽게 '고쳐 써주기'도 합니다. 이 연구는 사람 글·AI가 쓴 글·AI가 고쳐 쓴 글, 이 셋을 컴퓨터가 알아맞힐 수 있는지 16만 건 규모로 실험했습니다.

🔬 어떻게 분석했나

① 먼저 데이터를 모았어요 — Amazon 상품 리뷰와 트위터 글 약 16만 개를 준비하고, 같은 글을 GPT·DeepSeek·Kimi 같은 AI한테 새로 쓰게 하거나 고쳐 쓰게 해서 '정답표'를 만들었습니다.
② 글의 '문체 지문'을 숫자로 뽑았어요 — 문장 길이, 단어 선택 습관 같은 언어적 특징 68가지를 직접 계산해, 사람마다 다른 글쓰기 버릇을 숫자로 표현했습니다.
③ 의미도 숫자 좌표로 바꿨어요(임베딩) — RoBERTa 같은 언어모델로 문장을 벡터로 바꿨습니다. 뜻이 비슷한 문장일수록 가까운 위치에 놓이게 하는 기술이라, 컴퓨터가 '의미'까지 거리로 계산할 수 있게 됩니다.
④ 두 종류 단서를 합쳐 판별기를 학습시켰어요 — 문체 지문 + 의미 좌표를 하나로 묶어 랜덤포레스트·SVM 같은 분류기와, 글을 통째로 다시 학습한 RoBERTa·DeBERTa로 셋 중 어느 쪽인지 맞히게 했습니다.
⑤ 여러 모델의 답을 합쳤어요(앙상블) — 모델 하나에 기대지 않고 여러 판단을 투표·결합해 정확도를 한 단계 더 끌어올렸습니다.

📊 무엇을 찾았나

단일 모델도 10개 중 9개 이상(RoBERTa 95.5%)을 맞혔고, 여러 모델을 합친 앙상블은 96.5%까지 올라갔습니다. 다만 'AI가 고쳐 쓴 글'은 사람 글과 너무 닮아 끝까지 가장 틀리기 쉬운 범주였습니다.

💡 내 연구에 가져갈 것

AI 글 탐지를 해볼 생각이면, 문체 특징과 임베딩을 '같이' 쓰는 게 둘 중 하나만 쓰는 것보다 낫다.

📄 논문 정보

Hybrid deep learning for three-way classification of human-written, AI-generated, and AI-rephrased text
Najma Sadia, Muhammad Naeem Khan, Muhammad Shahzad Faisal, Muhammad Ali Iqbal, Muhammad Saleem Khan, Soo Kyun Kim
Scientific Reports · 2026-10-05 · 🔓 오픈액세스
원문 보기 ↗