원문: Ollama Blog · 게시일: 2026-09-29 · 수집일: 2026-09-30

핵심 요지

ollama가 TypeSafe Jev API 기반의 결정 모델(decision model) 을 로컬에서 실행하도록 지원한다. 텍스트를 state로 보내고 이름 붙인 질문 여러 개를 한 요청에 던지면, 로컬 모델이 전부 답하고 선택지별 확률을 돌려준다. 네트워크를 거치지 않아 추가 비용이 없고 지연 시간이 낮다. 티켓 분류, 모델 라우팅, 콘텐츠·안전 검열 같은 빠른 판단 작업이 대상이다.

새 API

  • Ollama 0.35 이상, 새 엔드포인트 POST /v1/systemone
  • 질문 유형은 Jev와 같은 3종: choice(선택지별 확률과 confidence), noul(예/아니오 확률), score(점수·legend·confidence)
  • TypeSafe 공식 Python SDK(typesafe-sdk)를 그대로 쓴다. TYPESAFE_BASE_URL=http://localhost:11434, TYPESAFE_API_KEY=ollama, TYPESAFE_DEFAULT_MODEL=nimble로 지정하고 TypeSafeClient().system_one()을 호출

제공 모델

모델크기개발비고
nimble9BBespoke Labs오픈소스
tev14BTogether AI실험용
tev1:0.8b0.8BTogether AI실험용

Ollama 클라우드로 서빙되는 모델도 추가될 예정이다.

성능 수치

  • nimble 9B는 MacBook Pro M5 Max 로컬 실행, 팩맨 예제(실시간 속도 재생) 기준 결정당 평균 91ms
  • 정확도 비교는 Bespoke Labs 공개 벤치마크(사람 라벨이 붙은 공개 데이터셋 13개, 결정 3,880건의 평균 정확도)를 쓴다. nimble·tev1은 Ollama에서 평가했고, Jev 1.13은 같은 결정에 대해 Bespoke Labs가 발표한 수치다. 개별 점수는 수집본 텍스트에 없다.

사용 예

ollama pull nimble
curl http://localhost:11434/v1/systemone -d '{"model":"nimble","state":{"ticket":"..."},"questions":{"team":{"type":"choice","instructions":"...","criteria":{"billing":"...","other":"..."}}}}'

예시 응답(환불 요청 티켓)은 team=billing(확률 0.985, confidence 0.922), refund noul 0.997, urgency score 0.815(0 Routine~2 Urgent, confidence 0.046)이고, usage는 입력 841토큰·출력 4토큰이다.

로드맵

MLX 기반 Apple Silicon 가속, 다른 결정 분야에 특화한 모델 추가.

연결