논문 5만 편을 사람이 다 못 읽으면, 컴퓨터는 거기서 무슨 이야기를 찾아낼까?

무슨 연구인가

탄소·지속가능성을 다룬 논문이 2020년 이후 폭발적으로 늘었어요. 너무 많아 한 사람이 다 읽을 수 없으니, 연구자는 컴퓨터에게 '이 많은 논문이 대체 무슨 주제들로 이뤄져 있는지' 지도를 그려달라고 맡겼습니다.

🔬 어떻게 분석했나

① 먼저 논문 5만 8천 편의 제목·초록·키워드를 모았어요. 그중 영어 초록이 제대로 있는 5만 5천여 편만 남겨 '재료'로 썼습니다.
② 글을 숫자로 바꿨어요(TF-IDF) — 흔한 단어는 낮게, 특정 글에만 자주 나오는 단어는 높게 점수를 매겨 '이 글을 대표하는 단어'를 가려내는 방식입니다.
③ 그 숫자를 압축했어요(LSA) — 단어가 수만 개라 너무 복잡하니, 뜻이 비슷한 단어들을 묶어 '숨은 의미 축' 몇 개로 줄입니다.
④ 비슷한 글끼리 가깝게 모았어요(UMAP+HDBSCAN) — UMAP은 복잡한 데이터를 평면 지도처럼 펼치는 도구, HDBSCAN은 그 지도에서 빽빽하게 모인 점 덩어리를 자동으로 '한 무리'로 묶어주는 도구예요. 어디에도 안 끼는 외톨이 글은 그냥 노이즈로 둡니다.
⑤ 각 무리가 무슨 주제인지 이름표를 달았어요 — 그 무리에서만 유독 자주 나오는 단어를 뽑아 '아, 이 덩어리는 전기차 이야기구나' 식으로 해석했습니다.

📊 무엇을 찾았나

5만여 편이 121개 주제로 정리됐고, 네 편 중 한 편(25.8%)은 어느 주제에도 안 묶이는 노이즈였어요. 경제성장과 CO₂, 건물 에너지효율, 전기차, 산림 탄소흡수원 같은 주제가 드러났습니다.

💡 내 연구에 가져갈 것

논문·뉴스처럼 '전문 문서 뭉치'를 주제별로 훑고 싶다면, BERTopic에 TF-IDF를 끼우는 이런 변형부터 따라해 보세요.

📄 논문 정보

Mapping Carbon-Based Sustainability Research Using a Customized BERTopic Framework with TF-IDF–LSA Document Representations
Burcu Okatan
Paradigma İktisadi ve İdari Araştırmalar Dergisi · 2026-10-15
원문 보기 ↗