개요

스페인어권 개발자 Antonio Leiva가 jev의 첫 사용처로 고른 것은 codex 모델 라우터였다. 매일 싼 모델로 충분했을 작업을 비싼 모델로 돌리고 있지 않은지가 출발점이었다. 그런데 하루 뒤 그는 직접 측정한 결과를 들고 **“추천하지 않는다”**는 경고 글을 올렸다. 이 노트는 그 경고가 핵심이다.

구성

  1. Codex에 아무 모델이나 연결해 주는 Codex Router(codex-router.com)를 설치했다. 로컬 라우터 개념은 2026-08-08-github-duolahypercho-codex-router 참고.
  2. Luna에게 0xNatoshi/jev-codex-router를 커스텀 프로바이더로 설정하게 했다. 요청마다 Jev가 Luna/Sol/Astra 중 어느 등급과 사고 깊이를 쓸지 고른다.
  3. 처음에는 아주 단순한 작업도 거의 다 Sol로 갔다. 그래서 Astra에게 Jev에 넘기는 프롬프트를 고치게 했고, 그 결과를 gist로 공유했다.

gist의 jev_server.py(127.0.0.1:4319 로컬 서버)에 담긴 설계:

  • 신뢰도가 0.5 미만이면 중간 등급(Sol)으로 HOLD한다. 단, 오류 없는 단순 도구 단계를 Jev가 Luna로 판단한 경우만은 Luna를 유지한다(하루 1,065호출 실측 기반).
  • 요청을 새 사용자 턴과 도구 단계 연속으로 구분한다. 7일 실측에서 모델 호출의 약 92%가 도구 단계였고 비용 비중은 약 74%였다.
  • Jev 오류 시에는 Astra @medium으로 fail-open한다. 킬 스위치 파일, shadow 모드(결정만 기록하고 실제로는 Astra 사용), 디버그 덤프를 지원한다.

경고: 모델을 바꾸면 캐시가 깨진다

같은 기능을 하나는 라우터로, 하나는 단일 모델로 고정해서 만들어 비교했다.

방식캐시 적중률
라우터(모델 전환)32%
단일 모델 고정99.35%

추론 API는 앞선 대화와 겹치는 토큰을 10~15배 싸게 청구한다. 대화 전체가 매번 다시 전송되기 때문에, 모델을 바꿀 때마다 캐시가 무효화되면 절약분이 사라질 수 있다. 비싼 호출을 충분히 피하면 상쇄될 수도 있지만 측정하기 어렵다.

그가 제안한 대안은 라우팅 판단에 캐시 손실 페널티를 넣어, 정말 그만한 가치가 있을 때만 모델을 바꾸는 방식이다. 다만 좋은 벤치마크와 넉넉한 토큰 없이는 조정하기 어렵다. 결론은 “무엇을 하는지 정확히 모르면 쓰지 말라”였다.

시사점

  • 모델 라우팅의 손익은 호출 단가가 아니라 캐시 적중률을 포함한 총비용으로 따져야 한다. 같은 라우터를 “비용 60% 절감”으로 소개한 목록(2026-09-19-x-goan999999-jev-project-roundup)과 함께 읽을 것.
  • 답글에는 Jev로 Claude Code와 DeepSeek v4.1 사이를 라우팅하는 변형 사례도 있었다.