230년 된 저자 미상 글, 최신 AI와 옛날 통계 중 누가 더 잘 맞힐까?

무슨 연구인가

미국 건국기에 익명으로 발표된 정치 평론 모음 《연방주의자 논고》는, 그중 몇 편을 누가 썼는지 200년 넘게 논쟁거리였어요. 이 연구는 그 오래된 수수께끼를 요즘 유행하는 거대언어모델(AI)과, 1963년 통계학자들이 쓴 고전적 방법을 한 무대에 올려 겨루게 했습니다.

🔬 어떻게 분석했나

① 먼저 '누가 썼는지 다투는 글'들을 데이터로 모았어요 — 저자가 분명한 글(마디슨·해밀턴이 각각 썼다고 알려진 글)로 모델을 학습시키고, 저자 미상 글을 알아맞히게 하는 방식입니다.
② 글을 숫자 좌표로 바꿨어요(임베딩) — 거대언어모델은 문장을 수천 개의 숫자로 이뤄진 '좌표'로 바꾸는데, 뜻이나 문체가 비슷한 글일수록 가까운 자리에 놓이게 하는 기술이에요. 그래야 컴퓨터가 '누구 문체에 가까운가'를 거리로 계산할 수 있거든요.
③ 비교 상대로 옛날 방식도 꺼냈어요 — 'the, of, and' 같은 기능어(별 뜻 없이 자주 쓰는 단어)의 사용 습관만 추려, 토픽모델처럼 글을 몇 개의 '스타일 비중'으로 단순하게 요약하는 통계 방법입니다. 숫자가 훨씬 적어 왜 그렇게 판단했는지 사람이 들여다보기 쉬워요.
④ 두 방식을 같은 문제로 맞붙여, 학습에 안 쓴 '처음 보는 글'을 얼마나 잘 맞히는지로 승부를 가렸습니다.

📊 무엇을 찾았나

뜻밖에도 수천 차원을 쓰는 최신 AI 임베딩이, 겨우 몇 개 숫자로 요약한 옛날 기능어 토픽 방식을 이기지 못했어요. fine-tuning을 거쳐도 마찬가지였고, 문체 판별에서는 '덩치 큰 모델'보다 '단순하지만 왜 그런지 설명되는 모델'이 더 정확했던 겁니다.

💡 내 연구에 가져갈 것

크고 복잡한 모델부터 꺼내지 마세요 — 문체·저자 같은 문제는 기능어 빈도 같은 단순 자질이 의외로 강력합니다.

📄 논문 정보

Revisiting the Federalist Papers in the Era of Large Language Models
So Won Jeong, Veronika Rockova
Harvard Data Science Review · 2026-10-16 · 🔓 오픈액세스
원문 보기 ↗