원문 GeekNews — LLM Wiki의 불량 페이지를 Jev로 선별하는 것이 가능할까? · 글 「조리질」 (alfadur7.github.io) · 실험 자료 llm-wiki-newsroom/docs/experiments/judge-model-2026-09

개요

LLM Wiki Newsroom은 Claude Code 에이전트 여럿(리포터)이 페이지를 쓰고, 별도 검수 역할(데스크)이 원문과 대조해 결함을 찾는 오픈소스 위키 프레임워크다. 데스크 검수는 페이지당 약 39,000토큰이 든다. 운영자는 TypeSafe의 판정 모델 jev(예/아니오 질문에 확률로만 답함, 페이지당 입력 약 13,000토큰)로 점수를 매기고 낮은 페이지만 데스크에 보내면 되지 않을까 기대했다. 결과는 효과 없음이었다. 더 쓸모 있는 건 그 이유다.

핵심 교훈: 기저율이 먼저다

선별 도구가 일을 덜어 주는지는 순위 품질보다 먼저 **결함이 얼마나 흔한지(기저율)**에 달려 있다. 쌀에서 돌을 고르는 조리질에 빗대면, 돌이 절반 넘게 섞였거나 거의 없으면 조리는 소용없다.

위키결함 기저율결과
비공개 한국어 위키 (~2,400페이지)한 질문 기준 약 44% 불합격 추정, 새로 쓴 15페이지 중 9개에 critical/high 결함너무 흔해서 걸러 봐야 남은 쪽도 절반이 결함. 새 페이지는 전수 검수로 전환
공개 영어 위키 (현재 파이프라인 62페이지)심각 결함 6.5%(4개). 하지만 모든 페이지에 결함이 하나 이상, 최신 32페이지의 결함 보고 330건 중 심각은 2건큰 돌이 너무 드물어 신호를 확인할 수 없음. 역시 전수 검수

Jev에 던진 질문

  1. 각 주장의 맥락이 살아 있는가, 단서 조항·조건·범위가 빠졌는가?
  2. 원문이 논쟁의 양쪽을 담을 때 페이지도 양쪽을 담았는가?
  3. 주장마다 붙은 발화자가 원문에서 실제로 그 말을 한 사람·기관인가?

한국어에서는 확률값 자체를 믿기 어려웠다. 기대 보정 오차가 0.17~0.20이었고 같은 요청을 다시 보내면 점수가 평균 0.013, 최대 0.10 흔들렸다(598쌍). 그래서 확률이 아니라 순위로만 썼다.

스스로 속지 않는 설계

  • 사전등록: 라벨·점수 전에 주 지표(critical/high 결함이 하나라도 있으면 결함 페이지)와 결정 규칙(결함 페이지 12개 이상, AUC 95% CI 하한 > 0.5)을 파일로 남겼다.
  • 실험 기간 데스크 검수 중단: 리포터가 쓴 상태 그대로를 모집단으로.
  • 블라인드 이중 라벨: 서로 다른 데스크 에이전트 둘이 라벨, 갈리면 세 번째. 라벨러는 Jev와 실험 자체를 모른다. 질문 문안도 라벨러가 못 보게 치웠다.
  • 점수는 맨 마지막에.

결과: 그럴듯한 신호는 코호트 효과였다

1차(34페이지)에서 Jev AUC는 0.685로 그럴듯했다. 하지만 결함 페이지 6개 중 3개가 예전 파이프라인으로 쓴 초기 4페이지였고, 셋 다 짧았다. 이를 빼면 AUC 0.43. 사후 분석이라 가설로만 두고, 2차 전에 사전등록 수정안을 붙였다.

모집단페이지결함Jev AUC (95% CI)기존 선별 기준 AUC길이 AUC
현재 파이프라인 (주 분석)6240.491 (0.20~0.79)0.5470.358
전체6670.692 (0.41~0.92)0.3920.215
초기 4페이지431.0000.5000.667

현재 파이프라인의 결함 페이지 4개는 Jev 순위 14·16·41·57위였다. “점수 최하위 10개부터 읽기” 대기열을 만들었다면 하나도 못 잡았다.

그래서 바꾼 것

  • 공개 위키: Jev 선별을 붙이지 않고 모든 소스 페이지를 데스크가 검수한다.
  • 비공개 위키: 새 페이지는 전수 검수. Jev는 규칙 이전에 쓴 묵은 2,400페이지를 다시 읽는 순서를 정하는 데만 쓴다. 여기선 Jev가 짚은 페이지의 약 94%가 결함이었지만, 짚지 않은 페이지도 약 67%가 결함이었다.
  • Jev가 나쁜 모델이라는 결론은 아니다. 비공개 위키에서 Jev 순위는 지금까지 잰 신호 중 가장 좋았다(한 질문에서 AUC 0.80, 기존 기준 0.37).

한계 (저자 명시)

결함 페이지 4개라 CI가 0.2~0.8로 넓다. 라벨은 페이지를 쓴 모델과 같은 계열 에이전트가 붙였고, 블라인드는 지시에만 기댔다. 심각도 경계가 흔들려(갈린 5페이지 모두 같은 결함의 심각도 차이) 6.5%도 단단하지 않다. Jev 채점 도구는 공개하지 않아 점수를 재분석할 수는 있어도 재생성할 수는 없다.

이 위키에 주는 함의

이 볼트도 같은 문제를 안고 있다. moc-llm-wiki 방식으로 수천 페이지가 쌓였고, moc-jev에 모은 것처럼 Jev를 린터처럼 붙이자는 아이디어가 자연스럽다. 이 실험은 그 전에 표본 페이지를 직접 검수해 결함 기저율부터 재라고 말한다. 또 결함 유형이 언어에 따라 다르다는 저자의 가설(한국어 요약에서 “알려졌다” 같은 전언 표현이 단정문으로 바뀌고, 칼럼 필자 의견이 기관 발표로 둔갑하는 등, 측정은 하지 않음)은 영어 원문을 한국어로 요약하는 이 위키에서 특히 점검할 만한 항목이다.

대조할 만한 사례로 테디노트의 Jev 튜토리얼은 짧은 한국어 고객 문의 분류에서 confidence 0.9 이상 판정이 모두 맞았다고 보고한다. 긴 페이지를 원문과 대조하는 이 실험과는 과제 성격이 다르다. Jev의 하네스 활용법은 2026-09-26-langchain-building-a-harness-with-jev, Jev 자체는 jev 참고.