원문: ollaya.dev · 수집일: 2026-09-27 · Beta · Apache-2.0 · GitHub 517 stars · TypeSafe/Ollama와 무관(공식 명시)
개요
Ollaya는 이름 그대로 “Ollama처럼, 결정 모델(decision model)을 로컬에서 돌린다”를 표방하는 오픈소스 런타임이다. 텍스트나 JSON(“state”)에 타입이 지정된 질문(선택/점수/yes-no)을 던지면, 토큰별 생성 없이 단일 forward pass로 보정된(calibrated) 확률을 밀리초 단위로 반환한다. jev-ultrafast·interfaze-ai/lev·laya-mlx와 같은 계열로, TypeSafe의 호스티드 /v1/systemone API 프로토타입을 로컬 대체하는 오픈소스 축의 노트다. 다만 앞의 셋과 달리 Ollaya는 단일 모델이 아니라 여러 회사·개인이 각자 공개한 결정 모델 8종을 한 CLI/데스크톱 앱 안에 모아 구동하는 런타임이라는 점이 다르다 — 즉 “모델”이 아니라 “Ollama 격의 배포 계층”이다.
Drop-in 호환성
/v1/systemone,/v1/models엔드포인트를 TypeSafe의 요청·응답 스키마 그대로 제공.- 공식 TypeSafe Python SDK 0.7.1이 base URL만
http://localhost:11435로 바꾸면 코드 수정 없이 동작. curl .../v1/systemone로 직접 호출도 가능(질문 타입: choice 등), 응답에probabilities·confidence·usage.output_tokens: 0포함.
구동하는 8개 모델 계열
| 모델 | 제작자 | 크기 | 방식 | 비고 |
|---|---|---|---|---|
| winnow | EldanRing | 7.5b · 12b | Gemma 4 파인튜닝, GGUF, llama.cpp | 정확도/속도 균형 최적값(e4b), typed-decisions 0.722 |
| laya | Convai Innovations | 322m · 421m | 100+ 언어, choice/score/yes-no | 가장 빠름(CPU에서도 원활), [[2026-09-27-laya-mlx |
| decider | Mapika (Qwen3.5 기반) | 0.75b · 1.9b · 4.2b | 옵션-문자 로짓 읽기 | decider:4b 0.680 |
| kev | Jared Palmer | 0.76b · 4.2b · 7.9b | Qwen3.5 LoRA + 포인터 헤드 | 자체 온도로 보정 |
| nli | Moritz Laurer | 396m · 435m | 제로샷 NLI(entailment) | 테스트에서 가장 정확한 인코더 모델 |
| gliclass | Knowledgator | 439m | 지시 추종 제로샷 분류 | 옵션 수 늘어도 비용 거의 안 늘어남 |
| qwen3guard | Qwen 팀 | 0.6b | 안전/논쟁/위험 카테고리 판정 | 119개 언어 |
| decision | vLLM Semantic Router 기여자 | 0.75b | Qwen3.5 풀 파인튜닝 + 엔드포인트 헤드 | 16k 토큰 행 지원 |
벤치마크(typed-decisions, 400 states·2,000 questions, Ollaya 자체 측정 + Jev는 Winnow 리포트 인용)
| 모델 | 정확도 | 지연시간 |
|---|---|---|
| TypeSafe Jev (호스티드) | 0.738 | 236–276ms |
| winnow:e4b | 0.722 | 89ms |
| kev:9b | 0.722 | 498ms |
| winnow:12b | 0.702 | 131ms |
| decider:4b | 0.680 | 520ms |
| kev:4b | 0.669 | 354ms |
| jevk5:4b | 0.625 | 105ms |
| decider:2b | 0.591 | 190ms |
| nli | 0.548 | 20ms |
| laya:en | 0.361 | 10ms |
핵심 주장: winnow:e4b가 RTX 4090에서 Jev 호스티드 API 대비 정확도는 2%p만 낮으면서(0.722 vs 0.738) 지연시간은 1/3(89ms vs 236–276ms)에 그침. laya:typed-decisions는 0.766점이지만 같은 데이터셋으로 파인튜닝돼 비교표에서 제외 — 측정 방법론을 스스로 밝힌 점이 신뢰도를 높인다. Jev 지연시간은 서드파티 벤치마크(AbdelStark/jev-benchmarks, nibzard/decision-model-benchmark) 인용이라 네트워크 포함, 측정 환경이 달라 “자릿수 비교”로만 제한한다고 명시.
프라이버시·배포 특징
- 로컬 실행(기본 127.0.0.1), ONNX Runtime, CPU 또는 NVIDIA GPU.
- 가중치는 각 저자의 Hugging Face 저장소에서 커밋 고정 + sha256 검증, Ollaya가 재호스팅하지 않음. 런타임 자체는 Apache-2.0.
- 토큰당 과금 없음, 하드웨어가 허용하는 만큼 무제한 실행.
- 각 모델이 자체 보정을 제공하며, Modelfile로 라벨링된 데이터에 재적합 가능.
플랫폼 지원
| 플랫폼 | 데스크톱 | CLI | GPU |
|---|---|---|---|
| macOS (Apple silicon, 14+) | 메뉴바 앱, .dmg | 설치 스크립트 | Apple GPU — laya·nli만 MLX |
| Windows 10/11 x64 | .exe/.msi | PowerShell | NVIDIA CUDA 12/13 |
| Linux x86-64 | AppImage/.deb/.rpm | 설치 스크립트, systemd | NVIDIA CUDA 12/13 |
| Linux ARM64 | 미지원 | 설치 스크립트 | CPU only |
| WSL2 | 미지원 | Linux와 동일 | NVIDIA CUDA 12/13 |
| Docker (amd64/arm64) | 미지원 | GHCR 이미지 | NVIDIA CUDA 12/13 |
NVIDIA 드라이버 R525 이상 필요. Mac에서 laya·nli만 Apple GPU(MLX) 가속, 나머지 모델·AMD/Intel GPU·Windows/Linux 데스크톱 앱은 CPU로 동작 — 즉 winnow 등 llama.cpp 기반 모델의 GPU 가속은 CUDA 경로에 한정되고 Mac에서는 아직 CPU만 지원되는 것으로 읽힌다(사이트에 명시적 반례 없음).
해석과 적용 메모
- Ollaya는 “TypeSafe Jev 대체”라는 같은 목표를 개별 모델(lev, laya-mlx)이 아니라 패키징·배포 계층에서 푸는 접근이다. Ollama가 여러 LLM을 하나의 CLI로 통합했듯, Ollaya는 여러 팀이 따로 낸 결정 모델(EldanRing/winnow, Convai/laya, Jared Palmer/kev 등)을 하나의
ollaya run <model>인터페이스와 TypeSafe 호환 API 뒤로 통합한다. - 벤치마크 표는 자체 측정임을 각주로 명시하고 방법론 차이(네트워크 포함 여부 등)를 스스로 지적하는 점에서, 다른 벤치마크 주장 대비 투명도가 높은 편이나 여전히 1차 검증은 아니다.
- 이미 위키에 있는 lev(Qwen3.5-4B LoRA, GPU 서버형)와 laya-mlx(Apple Silicon 온디바이스 포트)는 각각 Ollaya가 통합하는 모델 후보군의 개별 사례로 볼 수 있다 — laya-mlx는 laya 계열의 비공식 MLX 포트이고, lev는 Ollaya 표에 없는 별도 4B LoRA 구현이다.
관련 노트
- jev-ultrafast — TypeSafe Jev 기반 브라우저 에이전트 (같은 프로토콜 생태계)
- interfaze-ai/lev — Qwen3.5-4B LoRA 기반 오픈소스 System One 결정 모델(GPU 서버형 대안)
- laya-mlx — laya를 Apple MLX로 이식한 온디바이스 대안
- Span-01 — 같은 Jev 대체 축의 하이퍼패러렐 추론 분류기
- moc-ai-models — AI 모델 MOC