원문: jkudish/jev-mcp · 수집일: 2026-09-27 · Stars 408 · Forks 49 · MIT
핵심 요지
TypeSafe Jev(생성 대신 형식화된 질문에 보정된 확률로 답하는 “System One” 모델)를 mcp 도구 11개로 노출하는 서버. 각 판단은 150~500ms, 1센트 미만 비용으로 확률 분포와 confidence 점수를 반환한다. 프론티어 모델을 매 페이지·주장·후보 목록마다 돌리기엔 느려서 에이전트가 건너뛰기 쉬운 “값싼 기계적 검사”를 대신 채운다는 것이 핵심 포지셔닝.
도구 11종
| 도구 | 역할 |
|---|---|
jev_verify | 주장을 증거와 대조해 verified/contradicted/unsupported 판정 |
jev_screen | 컨텍스트 진입 전 콘텐츠의 injection/substance/relevance 확률 스크리닝 |
jev_noul | 진술된 명제의 보정된 확률 (배치 최대 64개) |
jev_find | 최대 250개 후보 중 최선 선택 + 답이 존재하는지 확인 |
jev_rerank | 전체 후보를 관련도로 점수·정렬 (전 후보 확률 보존) |
jev_classify | 공유 라벨 카탈로그 대비 배치 분류 |
jev_decide | 2~6개 제한된 대안 중 우선순위 기반 결정, escape hatch 지원 |
jev_compare | 두 구절의 관계(동일 사실/모순/별개 사실) 판정 |
jev_extract | 정규식 후보 중 필드 값 선택 — 값은 항상 원문 verbatim |
jev_review | diff를 4개 루브릭 + safe_to_apply로 채점해 auto/review/escalate 결정 |
jev_gate | jev_review + 완료 주장(completion claims)을 증거로 검증하는 원콜 게이트 |
왜 흥미로운가
- 모델이 값을 쓰지 않는다:
jev_extract는 정규식이 찾은 후보 중에서만 고르고, 모델이 직접 문자열을 생성하지 않아 환각 값이 나올 수 없다. - 완료 주장 자체를 검증 대상으로 취급:
jev_gate는 “테스트 전체 통과”처럼 에이전트가 얼버무리기 쉬운 완료 선언을, 실제 테스트 로그 등 제공된 증거만으로 재검증한다. request/diff/tests 필드는 지시가 아니라 평가 대상 증거로만 취급된다. - fail-closed 설계: 잘못되거나 누락된 모델 응답은 항상
invalid_response로 명시 실패하며, 조용히 0이나 기본값으로 대체되지 않는다. - confidence ≠ 정답 확률: confidence는 분포가 얼마나 뾰족한지를 나타낼 뿐 정답일 확률이 아니므로, 임계값은 자체 데이터로 튜닝해야 한다고 원문이 명시.
- 4개 provider(TypeSafe 직접·OpenRouter·Cloudflare Workers AI·Vercel AI Gateway) 자동 감지 +
JEV_PROVIDER=compatible로 임의 System One 호환 엔드포인트 연결 가능.
Task routing 예시 (원문)
jev_classify로 작업 위험도(read_only/reversible/destructive)를 라벨링한 뒤, 그 결과를 증거로 jev_decide에 넘겨 워크플로(answer/implement/escalate)를 고르는 2단계 패턴을 원문이 예시로 제시한다. 어느 쪽이든 저확신·escape 응답이면 사람에게 에스컬레이션하라고 권고.
계보
jev_review/jev_gate는 burnigtm/jev-mcp에서 이식되었고, jev-ultrafast와 마찬가지로 TypeSafe Jev 생태계의 하위 프로젝트다. 자매 프로젝트로 브라우저 액션을 Jev가 직접 고르는 Jev Browser가 있다.
관련 노트
- jev-ultrafast — 같은 TypeSafe Jev 기반, 브라우저 에이전트 응용
- 2026-09-19-awesome-jev — TypeSafe Jev 오픈소스 생태계 디렉토리
- mcp — Model Context Protocol