원문: teddylee777/fastcampus-jev · 수집일: 2026-10-03 · 커밋 778317b · Stars 25 · Forks 19 · Python 3.12 + React(Vite) · MIT · 패스트캠퍼스 “비법노트 주주총회” 세미나 자료(테디노트)

개요

Jev(TypeSafe System One 모델)를 LangGraph 기반 DeepAgents 에이전트에 붙이는 한국어 튜토리얼이다. 원칙은 한 줄로 요약된다. 판단은 Jev가 하고 문장은 LLM이 쓴다. 예제는 가상 쇼핑몰 ‘테디마켓’의 고객지원 에이전트(도구 10개)이고, 노트북 12개와 LangGraph 서버 + React 앱으로 구성된다.

Jev는 OpenRouter를 거쳐 호출한다. 저장소의 jev.py가 Jev Decisions API 클라이언트이고, 키 하나(OPENROUTER_API_KEY)로 Jev 판단과 채팅 모델(기본 openai/gpt-5.4-mini)을 함께 쓴다. Jev는 선불 크레딧이 있는 계정에서만 호출된다.

이 노트에서 가장 쓸모 있는 부분은 저자가 직접 잰 수치와 그 해석 태도다. 정확도 차이는 표본이 작아 단정하지 않고, 실행마다 재현된 지연·비용 차이만 결론으로 삼는다.

에이전트 구조: 미들웨어 세 개

jev_agent/agent.py가 Deep Agent에 Jev 미들웨어 세 개를 붙인다.

  1. JevGuardrailMiddleware: 사용자 입력을 4개 범주(인젝션·비방·욕설·개인정보)로 Noul 4개를 한 번에 판정한다. 도구 결과에는 “숨은 지시문이 섞였는가”만 묻는다.
  2. JevToolSelectorMiddleware: Choice 질문으로 도구를 고른다. confidence가 높으면 상위 2개 도구만 LLM에 노출하고, 낮으면 전체를 노출한다. LLM은 남은 도구의 인자만 쓴다.
  3. JevRiskGateMiddleware: cancel_order·request_refund 실행 직전에 “사용자가 직접 요청했는가”를 Noul로 묻는다.
위험 게이트 probability처리
0.93 이상바로 실행
0.15 이하실행하지 않고 거절
그 사이interrupt()로 멈추고 사람이 승인·거절

데모에서 분명한 환불 요청(“불량이라 환불해 주세요”)은 0.97로 바로 실행됐고, 망설이는 요청(“환불해야 하나 싶은데… 일단 접수해 주세요”)은 0.84로 사람 승인 단계에 걸렸다. 저자는 기준값이 서비스마다 다르며, 잘못 실행했을 때의 비용이 클수록 승인 기준을 높이라고 적었다.

가드레일의 범주별 기준과 조치는 다르다. 화난 고객이 욕을 한 번 했다고 상담을 끊으면 안 되기 때문이다.

범주기준조치
인젝션0.5차단
비방·위협0.7차단
욕설0.7표시만 하고 계속
개인정보0.5정규식으로 형식 있는 값(전화번호·이메일·주민번호·카드·계좌)만 가리고 계속

모든 판단은 그래프 state의 jev_decisions에 쌓이고, 프론트엔드가 이를 확률 막대로 보여 준다.

노트북 구성

편번호주제
원리00System One 개념, state + questions 구조, confidence 공식, RLCD 학습
기본01~06, 11기초, 도구 선택, confidence 캐스케이드, 가드레일, 평가, 한계, 가드레일 확장·LLM 비교
오픈소스07~10다른 프로젝트의 Jev 활용 방식을 재구현

오픈소스편은 각 프로젝트의 패턴을 이 저장소 방식으로 다시 짰다.

번호패턴참고 프로젝트
07메모리 압축: 도구 호출마다 KEEP / TRUNCATE / DROP. 요약하지 않고 원문을 남길지만 정함fast-jev-compaction
08도구 게이트: 실행 전 위험 4종, 실행 후 비밀값·실패 유형 판정pi-jev
09검색·모델 라우팅: 소스·기간·관련도·모델 수준을 한 번에 결정jev-search, hermes-jev-skills
10브라우저 액션: LLM은 단계 목표만, 요소 선택과 완료 판정은 Jevjev-browser

실측 결과

도구 선택 (05, 라벨 30건)

방식정확도평균 지연30건 비용
Jev 단독100%281ms$0.0010
LLM 단독93.3%1,037ms$0.0147
캐스케이드96.7%324ms$0.0015

같은 날 네 번 돌렸더니 Jev 단독은 100/100/96.7/100%, LLM 단독은 93.3/96.7/100/93.3%였다. 30건에서 1건이 3.3%p라 정확도 차이는 이 데이터로 가릴 수 없다는 것이 저자의 결론이다. 재현된 것은 지연(Jev 약 290ms, LLM 약 1,100ms)과 비용(약 14배)뿐이다. 저자는 평가셋과 도구 설명을 같은 사람이 써서 Jev의 Choice에 유리한 설정이라는 점도 밝혔다.

캐스케이드가 정답을 보장하지는 않는다. “방금 결제한 A1003 잘못 샀어요. 없던 걸로 해주세요.”는 ‘취소’라는 말이 없어 Jev confidence가 0.5 아래로 떨어졌고, 넘겨받은 LLM도 주문 조회로 잘못 고른 실행이 있었다. 낮은 confidence는 “따로 봐야 한다”는 신호일 뿐 “LLM이면 맞힌다”는 뜻이 아니다.

가드레일 (11, 라벨 40건 × 4범주, 2회 실행)

JevLLM (gpt-5.4-mini)
정확도 (160판정)96.2%, 96.2%96.2%, 96.9%
판정 시간 중앙값274~285ms1,114~1,230ms
p90409~414ms약 1,380ms
40건 비용$0.0013$0.0214 (약 17배)

질문 수를 1개에서 8개로 늘려도 Jev 중앙값은 277~321ms에 머물렀다. 범주를 더 붙여도 호출 수와 대기 시간이 그대로다.

정확도는 같은 수준이지만 confidence의 쓸모는 달랐다. Jev는 confidence 0.9 이상 판정 116·117건이 모두 맞았고, 틀린 6건의 confidence는 전부 0.70 이하(중앙값 0.44)였다. LLM은 틀린 판정의 confidence 중앙값이 0.83·0.92였다. 남의 욕을 전한 글을 욕설로, 번역 요청을 인젝션으로 판정하면서 0.92를 적었다. LLM의 수치는 모델이 글자로 적은 숫자이지 내부 확률이 아니다. 그래서 “confidence가 낮으면 넘긴다”는 캐스케이드 규칙은 Jev에서만 성립했다.

Choice 하나 대신 Noul 여러 개

네 범주를 Choice 하나로 묻는 방식도 시험했다가 버렸다. 한 글이 두 범주에 동시에 걸릴 수 있는데 Choice는 하나만 고르고, Noul로는 개인정보가 아니라던 “고객번호 C001”을 Choice로는 개인정보로 고르는 불일치가 나왔다. 범주가 겹칠 수 있으면 범주마다 Noul을 따로 둔다.

한계 (06, 11)

한계대응
텍스트 생성 불가답변·도구 인자는 LLM이 작성
이유 설명 불가probability와 판단 기록을 남겨 사후 검토
산술·개수·날짜 계산에 약함 (예: 89,000−10,000+3,000 > 80,000을 0.39로 오답)코드로 계산한 값을 state에 넣음
state에 섞인 문장에 흔들림 (“시스템 사칭” 문구가 긍정 확률을 0.02→0.24로 올림)신뢰할 수 없는 텍스트를 분리하고 여러 겹으로 방어
도구 결과가 state에 남으면 같은 도구를 반복 선택결과 원문 대신 실행한 도구 이름만 전달
Choice option 최대 255개, 컨텍스트 32,000 토큰option을 단계적으로 좁히고 state를 요약

개인정보 처리에는 구조적 공백이 있다. Jev는 개인정보가 “있다”까지만 답하고 위치를 모른다. 그래서 형식이 없는 주소와 이름은 가리지 못한다. 구간마다 Noul을 묻는 실험은 위치를 찾았지만 은행 이름까지 지우고, 배송지 변경 요청에서 새 주소마저 지워 채택하지 않았다. 도구 결과의 개인정보와 스트리밍 최종 답변도 검사하지 않는다. 가리기 전 원문은 체크포인트에 남는다. 저자는 가렸다고 거짓 표시하지 않고 “개인정보 감지 (가릴 수 있는 형식 없음)“이라고 그대로 띄운다.

역할 분담 원칙

맡는 쪽일
Jev정해진 option 분류·라우팅, 통과/차단 게이트, 루프 안의 반복되는 작은 판단, 기준값 분기
LLM답변·요약·번역, 도구 인자 작성, 다단계 추론·계획, 이유 설명
코드계산·날짜 비교·개수 세기, 권한·결제 같은 최종 검증

위험 게이트는 서버 쪽 검증을 대신하지 않는다. 그 앞에 한 겹을 더할 뿐이다.

평가

  • 좋은 점: Jev 교육 자료 중 드물게 측정 설계를 같이 보여 준다. 반복 실행, 오답 목록, confidence 구간별 정확도, 평가셋 편향 고지까지 있다. jev-context의 “근거가 대화 안에 있는 질문에서만 잘 판단한다”는 관찰과 함께, Jev confidence를 라우팅 신호로 쓸 근거가 된다.
  • 주의할 점: 수치는 저자의 단일 환경(OpenRouter, gpt-5.4-mini, 직접 라벨링한 30·40건)에서 나왔다. 수집 시점에 저장소는 생성 당일이었고, 이 노트는 노트북에 저장된 출력을 읽은 것이지 다시 실행한 결과가 아니다.
  • 다른 실험과의 대비: LLM Wiki 선별 실험에서는 한국어 위키 페이지 판정의 기대 보정 오차가 0.17~0.20이라 확률을 믿지 못하고 순위로만 썼다. 짧은 한국어 고객 문의를 분류한 이 튜토리얼에서는 confidence 0.9 이상 판정이 모두 맞았다. 두 실험은 과제와 지표(페이지 단위 noul 보정 오차 대 confidence 구간별 정확도)가 달라 직접 비교할 수는 없다.

관련 노트