개요

Upstage의 Sung Kim(@SungKimUp)이 jev 대신 SolarMini4Jev를 써 보라며 공개한 실험이다. Jev는 주어진 상태(state)에 대해 예/아니오(noul), N개 중 선택(choice), 1~10 척도(score)를 JSON으로 바로 돌려주는 구조화 판단 모델이고, 한 요청에 여러 질문을 병렬로 넣을 수 있다. 그는 고객지원 티켓 분류, 에이전트 도구 호출 위험도 확인, 모델 라우팅, 모더레이션, 가드레일, 컨텍스트 압축(keep/drop), PR 위험도 평가를 쓰임새로 든다.

hunkim/solar-mini4-jev는 Jev의 System One API 모양(POST /v1/systemone)을 그대로 받아 Upstage Solar 채팅 모델에 넘기는 래퍼다. 질문 스키마가 같아서 Jev 클라이언트를 엔드포인트만 바꿔 쓸 수 있다. Jev 생태계 전반은 2026-09-19-awesome-jev 참고.

사용법

  • Vercel에 올린 BYOK 엔드포인트 https://solar-mini4-jev.vercel.app/v1/systemone에 X-Upstage-Api-Key(또는 Authorization: Bearer) 헤더로 자기 Upstage 키를 넣어 호출한다. 서버는 키를 저장하지 않는다.
  • 로컬 실행은 pip install -r requirements.txt 후 uvicorn server:app. 파이썬에서는 engine.system_one(state=..., questions=...).
  • 기본 모델은 solar-pro4이고 SOLAR_MINI_MODEL로 solar-mini4를 고를 수 있다. reasoning은 항상 끄고 모델이 선택지 글자 하나로 답하게 한다.

정확도 — 게시물과 README가 다르다

게시물(2026-09-22): 약 400문항, Grok 4.6 심사 기준 Jev 94.2% 대 SolarMini4-Jev 98.4%. 한국어 입력에서는 98.8 대 93.9. 대신 평균 응답이 1.2초로 Jev(0.4초대)보다 느리다.

README 벤치마크(공개 Jev 벤치마크 일부, 한국에서 측정한 p50 지연):

벤치마크Jev 1.13.0solar-mini4solar-pro4
도구 호출 위험도 (60)91.790.093.3
분류기 벤치 v1 (78)97.489.797.4
HelpSteer2 (300)38.334.041.0
test400 (448)94.690.895.1
전체 가중 평균 (886)75.671.476.9
p50 지연633ms424ms749ms

README에서는 solar-mini4가 모든 항목에서 Jev보다 낮고, Jev를 근소하게 앞서는 것은 solar-pro4다. 게시물의 “Mini4 98.4%“가 어떤 문항·심사 조건에서 나온 값인지는 README로 확인되지 않으므로, 두 수치를 같은 비교로 읽으면 안 된다. 쓰려면 자기 작업에서 직접 재는 것이 맞다.

관련