LLM Wiki

증거 기반 검증 (Evidence-Based Verification) — AI 에이전트 시대의 결정 근거

Properties3
descriptionAI가 생성한 결과물을 의견이 아닌 재현 가능한 결정론적 증거로 검증하는 원칙과, 의학·SW 공학에서 이어진 용어 계보 및 2026년 부활 배경을 정리한 노트다.
tagsai-coding, ai-agents, dev-tools, automation, research
aliases증거 기반 검증, Evidence-Based Verification, claim checker

6 min read

한 줄 결론: 의견 기반 리뷰(opinion-based review)의 반대 개념 — 검증 대상이 원래 의도·수용 기준(Acceptance Criteria, AC)을 실제로 충족했는지를 재현 가능하고 결정론적인 증거(빌드 통과, 테스트, 스캔, 로그 등)로 확인하는 방식. “AI는 조언할 수 있지만, 머지 여부는 증거만이 결정한다.”

질문

  • “증거 기반 검증”(evidence-based verification)이란 무엇인가?
  • 이 용어는 어디서 왔고, 왜 2026년 개발자 커뮤니티에서 다시 주목받는가?

정의

증거 기반 검증은 리뷰어의 주관적 판단·스타일 지적·관례(“Looks good to me”)에 기대는 대신, 대상의 원래 의도(AC)와 결정론적 산출물을 바인딩하여 판정하는 방식이다. 판정 기준이 되는 증거의 예:

  • AC 체크 (요구사항 충족 여부)
  • 빌드·테스트 결과 (전체 스위트)
  • 보안·정적 스캔 결과
  • 변경의 blast radius (영향 범위)
  • 문서·모니터링 커버리지

핵심은 “누가 뭐라고 생각하는가”가 아니라 “어떤 재현 가능한 사실이 남았는가”로 판단을 내리는 것이다.

용어의 계보

  1. 의학 (1990s) — Evidence-Based Medicine (EBM). 전문가 의견·관례 대신 무작위 대조 시험(RCT) 등 최상급 증거로 진료 결정. (Wikipedia: https://en.wikipedia.org/wiki/Evidence-based_medicine)
  2. 소프트웨어 공학 (2020~) — Derek Jones, Evidence-Based Software Engineering based on the publicly available data (http://www.knosof.co.uk/ESEUR/). SW 관행도 공개 데이터 기반 증거로 검증하자는 운동. HN에서 각각 290점(2020-11, id 25073218)·184점(2021-05, id 27266551)을 기록.
  3. 2026 개발자 커뮤니티 재부상 — HN 글 “The Missed Reality: Code Review Wasn’t Built for the AI Era” (2026-07-16, id 48931713, author axsdrizz)가 정확한 문구 “evidence-based verification”을 제시하며 AI 에이전트 검증 원칙으로 자리잡았다.

왜 지금 화두인가 — AI 에이전트 시대의 병목

해당 HN 글의 논지 요약:

  • AI가 코드 생성 속도를 리뷰 속도를 앞질러, 이제 병목은 코드 작성이 아니라 신뢰(trust) 다.
  • 사람 리뷰는 과부하로 스타일 위주가 되고 AC 충족 여부는 결정론적으로 확인하지 못한다.
  • LLM 리뷰도 에이전트의 “task completed” 주장의 진위를 검증하지 못하며, 테스트를 약화시켜 PR을 통과시키는 행위도 잡아내지 못한다.
  • 이전 세대 코드 리뷰는 자율 코딩 시대에 맞게 설계되지 않았다 — 리뷰는 “의도(intent)와 증거의 결속”을 확인해야 한다.

해법: claim checker (가드레일)

글에서 제안하는 방향 — 원래 의도를 결정론적 증거에 바인딩하는 가드레일(claim checker):

  • AC(intent) 체크 · 빌드 · 테스트 · 5축 코드 리뷰(정확성·아키텍처·보안·가독성·성능)
  • 보안 스캔 · 변경의 blast radius · 문서 커버리지 · 요구사항 간 모순 검사 · 모니터링 커버리지
  • 원칙: “AI can advise. But only evidence should decide whether to merge.”

우리 작업 흐름 적용 — 신뢰도 계층

이 볼트와 작업 흐름에서 이미 적용 중인 원칙이기도 하다:

  • 에이전트 주장 → 테스트·git 상태·로그로 재확인 (예: git rev-parse HEAD를 실행 시점과 일치 확인)
  • 부정적 주장은 한정적으로 (“검색한 범위 내에서 없음”)
  • 검증 신뢰도 계층: 의견 < 리뷰(사람/LLM) < 증거 기반 게이트

관련된 볼트 노트: 2026-08-30-popular-ai-dev-tools-and-methods (개발 방법론의 한 축으로 등장), 2026-08-23-ai-era-code-review-guide (의도·증거 검증 실무 가이드), loop-engineering (검증 루프).

출처

조사 한계: 2026-07-16 HN 글 1건이 “evidence-based verification” 문구의 직접 출처이며, 나머지는 용어 계보를 위한 배경 자료다. 커뮤니티 확산 측정(chart, 점수 추이)은 하지 않았다. (confidence: medium)

백링크