출처

개요

리서치 기관 Epoch AI가 널리 쓰이는 AI 텍스트 탐지기 Pangram, GPTZero, Originality.ai를 시험했다. 사람 글, 단순 프롬프트로 만든 AI 글, 특정 작가의 문체를 흉내 내게 한 AI 글을 구분할 수 있는지가 질문이었다. 평범한 AI 글은 거의 다 잡았지만 문체 모방 글에서는 탐지율이 크게 떨어졌다.

핵심 포인트

  • 실험 설계: 99명 작가의 사람 글 495편(블로그·소설·과학 논문). 학습 데이터 오염을 피하려고 모두 2022년 11월 이전 글만 썼다.
  • 평범한 AI 글은 거의 완벽히 탐지: 놓친 비율이 가장 높아도 0.7%. 사람 글 오탐은 Pangram·GPTZero 0건, Originality.ai는 19편(3.8%).
  • 문체 모방 글은 평균 13% 통과: Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro에 작가의 실제 글 5편을 주고 같은 문체로 쓰게 한 297편 중 평균 38편이 통과했다. 탐지기별 누락률은 Pangram 10%, GPTZero 11%, Originality.ai 18%.
  • 과학 논문이 가장 취약: 소설 누락률은 1~5%였지만 과학 논문은 Pangram 25%, GPTZero 24%, Originality.ai 29%. Pangram은 Gemini가 쓴 학술 문체 글의 48%를 놓쳤다.
  • 방식은 달라도 같은 맹점: Pangram(신경망 분류기), GPTZero(단어 예측 가능성과 그 균일성), Originality.ai(통계 패턴) 모두 문체 모방에서 무너졌다.

왜 중요한가

AI 탐지가 가장 많이 쓰이는 곳이 학술 글쓰기인데, 바로 그 장르에서 가장 약하다. “사람 글을 오탐하지 않는다”는 이전 Authors Guild 테스트 결과는 “AI 글을 잘 잡는다”는 뜻이 아니라는 점을 이 연구가 보여준다.

참고 링크

관련 위키

원문 보존 위치

원문 전체는 raw source: 2026-07-21-aisparkup-post-14604-ai-5-1에 source_url 및 HTML 원문과 함께 저장되어 있습니다.