원문: razorback16/openjev · 수집일: 2026-09-27 · 버전 0.5.0(pyproject.toml 기준, 태그·릴리스 없음) · Stars 458 · Forks 36 · Python · Apache-2.0

핵심 요지

TypeSafe의 Jev와 같은 wire API를 그대로 구현한 오픈소스 “System One” 결정 서버다. 상태(state)와 타입이 지정된 질문(noul=yes/no, choice, score)을 보내면 수십 밀리초 안에 확률·신뢰도를 반환한다. 텍스트를 생성해 파싱하는 대신 DiffusionGemma 26B-A4B(Apache-2.0)의 답 슬롯 토큰 확률을 직접 읽으므로 답이 스키마를 벗어날 수 없다는 것이 핵심 설계다. NVIDIA GPU는 vLLM, Apple Silicon은 MLX로 구동하며, Codiv가 무료 호스팅(카드 없이 입력 토큰 1억 개)도 제공한다. TypeSafe와 제휴 관계 없는 독립 프로젝트다.

이 저장소는 2026-09-19-awesomejev-com이 정리한 “09 Benchmarks & research” 카테고리의 Jev 개방형 복제 프로젝트 중 하나로 처음 포착됐다(당시 스타 62개) — 수집 시점(2026-09-27) 458개로 급증했다.

왜 Jev와 같은 API인가

jev-ultrafast·2026-09-20-sac-y-jev-cu·2026-09-27-dzhng-jevgrep 등 “Jev가 좁은 판단만 하고 호출자가 실행”하는 패턴의 애플리케이션들은 모두 TypeSafe SDK로 호스팅형 Jev를 호출한다. OpenJev는 같은 SDK가 자체 서버·오픈 가중치로도 동작하게 만드는 하부 레이어다 — TypeSafe SDK 코드를 바꾸지 않고 TYPESAFE_BASE_URL만 자체 서버나 Codiv로 바꾸면 된다. jev-latest/jev-preview 모델명도 그대로 받아 기존 SDK 기본값과 호환되지만, 핀된 버전(jev-1.13.0)은 400 Unknown model로 거부해 완전한 프록시는 아님을 명시한다.

내부 동작: read, not write

DiffusionGemma는 discrete diffusion 모델로 좌→우로 쓰지 않고 매 forward pass에서 토큰 캔버스 전체를 denoise한다. OpenJev는 답 슬롯만 마스킹한 캔버스를 만들어 한 번의 read-only pass로 슬롯별 확률 분포를 얻고, 그 분포 자체를 답으로 쓴다 — yes/no, A/B/C, 0/1/2 같은 라벨은 각 1토큰이며 모델이 슬롯에 쓰지 않으므로 off-schema 답이 원천적으로 불가능하다. confidence = 1 − H(p)/ln K로 모델 분포에서 직접 계산되며, 모델이 자기 확신을 “보고”하는 별도 숫자가 아니다. 이 관련 diffusion LLM 배경은 2026-08-06-pytorchkr-topic-11526-diffusiongemma-gemma-4·2026-07-20-pytorchkr-topic-11311-diffusion-llm-llada-diffusiongemma 참조.

슬롯 엔트로피가 0.1을 넘으면(불확실) 새 노이즈로 3회 더 읽어 4회 평균하며, 이 재읽기는 usage 토큰을 추가로 소비하지 않는다(samples: 1로 1회만 강제 가능). vLLM 쪽 구현은 vllm-project/vllm#57250(2026-09-22 머지)의 예시 서버를 async I/O·backpressure로 각색한 것이다.

5개 모델을 한 API 뒤에

DiffusionGemma 외에도 다른 저자들이 만든 4개 모델을 같은 /v1/systemone 뒤에 라우팅한다 — 크레딧은 각 원저자에게 있다:

Model방식SizeChoices
openjev-latestDiffusionGemma, diffusion canvas26B(4B active)up to 255, 이미지 지원
laya-1.0ModernBERT-large 인코더+분류 헤드421Mup to 255
verdict-1.4ModernBERT-base+GLiClass151Mup to 24
clm-v0.1frozen Qwen3-8B + contrastive heads(9.4M×2)8B+18.8Mup to 255
jevk5-0.2Qwen3.5-4B + distilled LoRA, 레터 logit softmax4Bup to 255

인코더 모델(Laya/Verdict)은 diffusion이 아니라 한 forward pass로 답을 읽는 방식이라 구조적으로 다르다. CLM은 score 질문에서 state를 무시하는 상류 버그(감사 고객이 “annoyed”로 채점된 사례 관찰)를 README가 직접 밝히며, score 타입은 자체 데이터로 검증 후 쓰라고 경고한다.

확장 필드와 벤치마크

images, steps, samples, think, sequential 5개 필드는 OpenJev 고유 확장으로 TypeSafe SDK는 보내지 않으며, 없으면 Jev와 동일하게 동작한다. RTX PRO 6000(NVFP4, GPU 38% 사용) 실측: concurrency 1에서 10.7 req/s(p50 94ms), concurrency 64에서 57.4 req/s(p50 760ms). JevK5는 자체 v0.2 서버와 JevBench 231개 항목에서 top 답·토큰 수 100% 일치(양쪽 86.6%)를 확인했다는 대조 결과를 제공한다.

관계

주의

  • 태그·릴리스가 GitHub에 없어(빈 배열) 버전은 pyproject.toml의 0.5.0과 README의 Docker 이미지 태그 언급으로만 확인됨 — 공식 릴리스 프로세스가 아직 정착되지 않았을 가능성.
  • 모든 벤치마크 수치는 저자 자체 측정(README 원문)이며 제3자 재현이 아니다.
  • openjev/ 소스 코드, docker/ 각 Dockerfile 전문, tests/ 전문은 이번 수집에 포함하지 않았다 — 세부 구현을 인용할 때는 저장소를 직접 확인할 것.