스트레스 글을 AI가 잡아낼 때, 어디를 보고 판단하는지도 알 수 있을까?

무슨 연구인가

SNS 글에서 스트레스를 감지하는 AI는 많지만, 대부분 덩치가 크고 '왜 그렇게 판단했는지' 속을 알기 어렵습니다. 이 연구는 작고 가벼우면서도 판단 근거를 들여다볼 수 있는 트랜스포머를 만들었어요.

🔬 어떻게 분석했나

① 스트레스 글 공개데이터를 모았어요(Dreaddit) — 소셜미디어 글을 '스트레스 있음/없음'으로 라벨 붙인 데이터로, 학습용 2,838개·시험용 715개를 썼습니다.
② 모델이 '어디를 보는지'를 몇 군데로 좁혔어요(희소 어텐션) — 트랜스포머는 문장 속 여러 단어에 주의(어텐션)를 분산하는데, 여기에 벌점을 줘서 정말 중요한 단어 몇 개에만 집중하게 강제했습니다. 그러면 사람이 '이 단어 때문에 스트레스로 봤구나'를 눈으로 확인하기 쉬워집니다.
③ 비슷한 것끼리 뭉치게 훈련했어요(대조학습) — 스트레스 글은 스트레스 글끼리, 아닌 건 아닌 것끼리 좌표공간에서 가까이 모이도록 가르쳤습니다. 경계가 또렷해져 분류가 쉬워져요.
④ 일부러 작게 만들었어요 — 6층·약 950만 파라미터로, 게이밍용 그래픽카드(GTX 1660) 한 장에서도 돌아갑니다. 큰 서버가 없어도 되죠.

📊 무엇을 찾았나

F1 0.876으로, 덩치가 훨씬 큰 전문 모델(MentalBERT, 0.879)과 거의 같은 성적을 냈어요. 어텐션이 거의 0인 비율이 21%→68%로 늘어, '중요한 단어에만 집중'이 실제로 일어났음을 수치로 보여줬습니다.

💡 내 연구에 가져갈 것

작은 모델도 규제(regularization)를 잘 설계하면 큰 모델을 따라잡을 수 있어요 — 무조건 큰 모델부터 찾지 마세요.

📄 논문 정보

DR-Transformer: A Dual-Regularized Transformer Combining Sparse Attention and Supervised Contrastive Learning for Interpretable Stress Detection in Social Media Text
Mehdi Chrifi Alaoui, Nour-Eddine Joudar, Mohamed Ettaouil
AI · 2026-08-04 · 🔓 오픈액세스
원문 보기 ↗