원문: ollaya.dev · 수집일: 2026-09-27 · Beta · Apache-2.0 · GitHub 517 stars · TypeSafe/Ollama와 무관(공식 명시)

개요

Ollaya는 이름 그대로 “Ollama처럼, 결정 모델(decision model)을 로컬에서 돌린다”를 표방하는 오픈소스 런타임이다. 텍스트나 JSON(“state”)에 타입이 지정된 질문(선택/점수/yes-no)을 던지면, 토큰별 생성 없이 단일 forward pass로 보정된(calibrated) 확률을 밀리초 단위로 반환한다. jev-ultrafast·interfaze-ai/lev·laya-mlx와 같은 계열로, TypeSafe의 호스티드 /v1/systemone API 프로토타입을 로컬 대체하는 오픈소스 축의 노트다. 다만 앞의 셋과 달리 Ollaya는 단일 모델이 아니라 여러 회사·개인이 각자 공개한 결정 모델 8종을 한 CLI/데스크톱 앱 안에 모아 구동하는 런타임이라는 점이 다르다 — 즉 “모델”이 아니라 “Ollama 격의 배포 계층”이다.

Drop-in 호환성

  • /v1/systemone, /v1/models 엔드포인트를 TypeSafe의 요청·응답 스키마 그대로 제공.
  • 공식 TypeSafe Python SDK 0.7.1이 base URL만 http://localhost:11435로 바꾸면 코드 수정 없이 동작.
  • curl .../v1/systemone로 직접 호출도 가능(질문 타입: choice 등), 응답에 probabilities·confidence·usage.output_tokens: 0 포함.

구동하는 8개 모델 계열

모델제작자크기방식비고
winnowEldanRing7.5b · 12bGemma 4 파인튜닝, GGUF, llama.cpp정확도/속도 균형 최적값(e4b), typed-decisions 0.722
layaConvai Innovations322m · 421m100+ 언어, choice/score/yes-no가장 빠름(CPU에서도 원활), [[2026-09-27-laya-mlx
deciderMapika (Qwen3.5 기반)0.75b · 1.9b · 4.2b옵션-문자 로짓 읽기decider:4b 0.680
kevJared Palmer0.76b · 4.2b · 7.9bQwen3.5 LoRA + 포인터 헤드자체 온도로 보정
nliMoritz Laurer396m · 435m제로샷 NLI(entailment)테스트에서 가장 정확한 인코더 모델
gliclassKnowledgator439m지시 추종 제로샷 분류옵션 수 늘어도 비용 거의 안 늘어남
qwen3guardQwen 팀0.6b안전/논쟁/위험 카테고리 판정119개 언어
decisionvLLM Semantic Router 기여자0.75bQwen3.5 풀 파인튜닝 + 엔드포인트 헤드16k 토큰 행 지원

벤치마크(typed-decisions, 400 states·2,000 questions, Ollaya 자체 측정 + Jev는 Winnow 리포트 인용)

모델정확도지연시간
TypeSafe Jev (호스티드)0.738236–276ms
winnow:e4b0.72289ms
kev:9b0.722498ms
winnow:12b0.702131ms
decider:4b0.680520ms
kev:4b0.669354ms
jevk5:4b0.625105ms
decider:2b0.591190ms
nli0.54820ms
laya:en0.36110ms

핵심 주장: winnow:e4b가 RTX 4090에서 Jev 호스티드 API 대비 정확도는 2%p만 낮으면서(0.722 vs 0.738) 지연시간은 1/3(89ms vs 236–276ms)에 그침. laya:typed-decisions는 0.766점이지만 같은 데이터셋으로 파인튜닝돼 비교표에서 제외 — 측정 방법론을 스스로 밝힌 점이 신뢰도를 높인다. Jev 지연시간은 서드파티 벤치마크(AbdelStark/jev-benchmarks, nibzard/decision-model-benchmark) 인용이라 네트워크 포함, 측정 환경이 달라 “자릿수 비교”로만 제한한다고 명시.

프라이버시·배포 특징

  • 로컬 실행(기본 127.0.0.1), ONNX Runtime, CPU 또는 NVIDIA GPU.
  • 가중치는 각 저자의 Hugging Face 저장소에서 커밋 고정 + sha256 검증, Ollaya가 재호스팅하지 않음. 런타임 자체는 Apache-2.0.
  • 토큰당 과금 없음, 하드웨어가 허용하는 만큼 무제한 실행.
  • 각 모델이 자체 보정을 제공하며, Modelfile로 라벨링된 데이터에 재적합 가능.

플랫폼 지원

플랫폼데스크톱CLIGPU
macOS (Apple silicon, 14+)메뉴바 앱, .dmg설치 스크립트Apple GPU — laya·nli만 MLX
Windows 10/11 x64.exe/.msiPowerShellNVIDIA CUDA 12/13
Linux x86-64AppImage/.deb/.rpm설치 스크립트, systemdNVIDIA CUDA 12/13
Linux ARM64미지원설치 스크립트CPU only
WSL2미지원Linux와 동일NVIDIA CUDA 12/13
Docker (amd64/arm64)미지원GHCR 이미지NVIDIA CUDA 12/13

NVIDIA 드라이버 R525 이상 필요. Mac에서 laya·nli만 Apple GPU(MLX) 가속, 나머지 모델·AMD/Intel GPU·Windows/Linux 데스크톱 앱은 CPU로 동작 — 즉 winnow 등 llama.cpp 기반 모델의 GPU 가속은 CUDA 경로에 한정되고 Mac에서는 아직 CPU만 지원되는 것으로 읽힌다(사이트에 명시적 반례 없음).

해석과 적용 메모

  • Ollaya는 “TypeSafe Jev 대체”라는 같은 목표를 개별 모델(lev, laya-mlx)이 아니라 패키징·배포 계층에서 푸는 접근이다. Ollama가 여러 LLM을 하나의 CLI로 통합했듯, Ollaya는 여러 팀이 따로 낸 결정 모델(EldanRing/winnow, Convai/laya, Jared Palmer/kev 등)을 하나의 ollaya run <model> 인터페이스와 TypeSafe 호환 API 뒤로 통합한다.
  • 벤치마크 표는 자체 측정임을 각주로 명시하고 방법론 차이(네트워크 포함 여부 등)를 스스로 지적하는 점에서, 다른 벤치마크 주장 대비 투명도가 높은 편이나 여전히 1차 검증은 아니다.
  • 이미 위키에 있는 lev(Qwen3.5-4B LoRA, GPU 서버형)와 laya-mlx(Apple Silicon 온디바이스 포트)는 각각 Ollaya가 통합하는 모델 후보군의 개별 사례로 볼 수 있다 — laya-mlx는 laya 계열의 비공식 MLX 포트이고, lev는 Ollaya 표에 없는 별도 4B LoRA 구현이다.

관련 노트

  • jev-ultrafast — TypeSafe Jev 기반 브라우저 에이전트 (같은 프로토콜 생태계)
  • interfaze-ai/lev — Qwen3.5-4B LoRA 기반 오픈소스 System One 결정 모델(GPU 서버형 대안)
  • laya-mlx — laya를 Apple MLX로 이식한 온디바이스 대안
  • Span-01 — 같은 Jev 대체 축의 하이퍼패러렐 추론 분류기
  • moc-ai-models — AI 모델 MOC