개요
Upstage의 Sung Kim(@SungKimUp)이 jev 대신 SolarMini4Jev를 써 보라며 공개한 실험이다. Jev는 주어진 상태(state)에 대해 예/아니오(noul), N개 중 선택(choice), 1~10 척도(score)를 JSON으로 바로 돌려주는 구조화 판단 모델이고, 한 요청에 여러 질문을 병렬로 넣을 수 있다. 그는 고객지원 티켓 분류, 에이전트 도구 호출 위험도 확인, 모델 라우팅, 모더레이션, 가드레일, 컨텍스트 압축(keep/drop), PR 위험도 평가를 쓰임새로 든다.
hunkim/solar-mini4-jev는 Jev의 System One API 모양(POST /v1/systemone)을 그대로 받아 Upstage Solar 채팅 모델에 넘기는 래퍼다. 질문 스키마가 같아서 Jev 클라이언트를 엔드포인트만 바꿔 쓸 수 있다. Jev 생태계 전반은 2026-09-19-awesome-jev 참고.
사용법
- Vercel에 올린 BYOK 엔드포인트
https://solar-mini4-jev.vercel.app/v1/systemone에X-Upstage-Api-Key(또는Authorization: Bearer) 헤더로 자기 Upstage 키를 넣어 호출한다. 서버는 키를 저장하지 않는다. - 로컬 실행은
pip install -r requirements.txt후uvicorn server:app. 파이썬에서는engine.system_one(state=..., questions=...). - 기본 모델은
solar-pro4이고SOLAR_MINI_MODEL로solar-mini4를 고를 수 있다. reasoning은 항상 끄고 모델이 선택지 글자 하나로 답하게 한다.
정확도 — 게시물과 README가 다르다
게시물(2026-09-22): 약 400문항, Grok 4.6 심사 기준 Jev 94.2% 대 SolarMini4-Jev 98.4%. 한국어 입력에서는 98.8 대 93.9. 대신 평균 응답이 1.2초로 Jev(0.4초대)보다 느리다.
README 벤치마크(공개 Jev 벤치마크 일부, 한국에서 측정한 p50 지연):
| 벤치마크 | Jev 1.13.0 | solar-mini4 | solar-pro4 |
|---|---|---|---|
| 도구 호출 위험도 (60) | 91.7 | 90.0 | 93.3 |
| 분류기 벤치 v1 (78) | 97.4 | 89.7 | 97.4 |
| HelpSteer2 (300) | 38.3 | 34.0 | 41.0 |
| test400 (448) | 94.6 | 90.8 | 95.1 |
| 전체 가중 평균 (886) | 75.6 | 71.4 | 76.9 |
| p50 지연 | 633ms | 424ms | 749ms |
README에서는 solar-mini4가 모든 항목에서 Jev보다 낮고, Jev를 근소하게 앞서는 것은 solar-pro4다. 게시물의 “Mini4 98.4%“가 어떤 문항·심사 조건에서 나온 값인지는 README로 확인되지 않으므로, 두 수치를 같은 비교로 읽으면 안 된다. 쓰려면 자기 작업에서 직접 재는 것이 맞다.
관련
- Jev 위에 하네스를 짜는 방법: 2026-09-26-langchain-building-a-harness-with-jev