원문: mizorewww/laya-mlx (GitHub) · 수집일: 2026-09-27 · 기준 커밋
0a85951(2026-09-22) · Stars 6,452 · Forks 507 · Apache-2.0
개요
laya-mlx는 Convai Innovations가 공개한 Laya — 텍스트를 생성하지 않고 확률 기반 typed decision(선택·점수·참/거짓)만 반환하는 System One류 모델 — 를 Apple의 MLX 프레임워크로 이식한 비공식 로컬 추론 런타임이다. 원본 가중치·프롬프트 포맷·캘리브레이션·출력 스키마는 그대로 유지하면서, 인코더·디시전 트랜스포머·스코어링/액션 헤드를 MLX 위에서 재구현해 PyTorch·Transformers 런타임·클라우드 API 없이 Apple Silicon에서 직접 돌아가게 만들었다. README는 “This is an independent MLX port, not an official Convai Innovations release”임을 두 차례 명시한다.
한 줄 핵심: 짧은 typed decision 하나를 M3 Max에서 13.4ms(영어), 7.4ms(다국어) 만에 끝내고, 피크 메모리도 1GB 안팎이라 매 스텝 결정을 내려야 하는 고빈도 워크로드(에이전트 라우팅, 게임 플레이 등)에 클라우드 왕복 없이 꽂아 넣을 수 있다.
Typed decision이란
소프트웨어는 종종 선택지·루브릭 점수·참/거짓 같은 제약된 답이 필요하다. Laya는 이를 토큰 단위 디코딩이나 JSON 생성 없이, 상태(state)와 형식화된 질문(question)을 양방향 인코더에 넣어 한 번의 forward pass로 답한다.
state + typed question → bidirectional encoder → decision heads → probabilitieschoice: 지정된 옵션들에 대한 확률 분포score: 순서가 있는 루브릭 레벨의 확률 분포 + 기대 점수noul: 명제가 참일 확률 P(true)
질문 행은 독립적으로 배치 처리되며, “state를 한 번만 인코딩해 임의의 질문에 재사용”하는 구조는 아니다.
지원 체크포인트
| Model | Encoder | Parameters | Context limit | Purpose |
|---|---|---|---|---|
convaiinnovations/laya | ModernBERT-large | 421M | 512 | English |
convaiinnovations/laya-multilingual | mmBERT-base | 322M | 1,024 | Multilingual input |
convaiinnovations/laya-typed-decisions | ModernBERT-large | 421M | 1,024 | Upstream typed-decisions workflows |
FP16 사전 변환 체크포인트는 Hugging Face(aac6fef/laya-mlx 등 3종)에 공개되어 있고, 36개 파일 모두 원격 체크섬 검증을 통과했다고 기재되어 있다.
성능 (README/BENCHMARKS.md 공식 수치, M3 Max)
| Laya 421M | Multilingual 322M | |
|---|---|---|
| One short question, P50 | 13.42 ms | 7.39 ms |
| One short question, P95 | 13.92 ms | 7.79 ms |
| 50-question throughput | 146.8 q/s | 395.0 q/s |
| Peak MLX allocation | 943.6 MiB | 687.6 MiB |
Port fidelity: 63/63 검증 질문에서 FP32·FP16 모두 업스트림과 동일한 선택 답(378/378 비교), 100회 반복 결정적 호출에서 활성 메모리 증가 0. README는 이것이 해당 fixture에 대한 fidelity이지 모든 질문에 대한 정확도 보증이 아니라고 명확히 한다.
Snake 데모: --optimize --max-speed(컴파일+prefix reuse) 경로로 2,400수 동안 초당 75.40수, 사망 0회, 가시적 안전개입 2회. 동일 실행 eager 대조군 대비 약 6.5% 빠름.
사용법
pip install laya-mlximport laya_mlx as laya
agent = laya.load("aac6fef/laya-mlx")
result = agent.predict(
"I was billed twice. Please refund the duplicate.",
{
"department": {
"type": "choice",
"instructions": "Who should handle this?",
"criteria": ["billing", "technical", "sales"],
}
},
)
print(result["answers"]["department"])Router는 언어 감지로 영어/다국어 체크포인트를 자동 전환하고, preload=True로 세 체크포인트를 상주시켜 재진입 락 아래 동시 스레드가 하나의 로드된 Agent를 공유하게 할 수 있다. 캘리브레이션 온도는 업스트림 v0.3.5를 따라 [0.5, 5.0]으로 클램프한다 — 원값(예: choice:11+ 버킷 0.1006)을 그대로 쓰면 동전 던지기 수준 확률이 “거의 확실”로 보고되기 때문.
반응 (X, 2026-09-20~21)
제작자 @mizorewww의 스레드(“比Jev快50倍” — Jev API 대비 50배 빠르고 기기당 최대 1GB로 로컬 구동, M3 Max에서 초당 60회 결정으로 스네이크 플레이)에 이어 여러 제3자가 직접 재현·비교했다:
- M2 Pro 실측 1GB 메모리·초당 60회 결정 재확인 (@Lonely__MH)
- M5 Pro에서 Codex로 만든 Laya vs Jev 스네이크 대결: 로컬 15.3ms vs 클라우드 API 298.1ms(약 20배), Laya 약 0.4B 파라미터·1GB 메모리 (@BystAnd3rs)
- Grok 4.7이 만든 Tetris에서 로컬 Laya가 클라우드 Jev를 11배 빠른 의사결정으로 이김, 16GB MacBook Air에서 구동 (@atomic_chat_hq)
“약 0.4B 파라미터”는 저장소 공식 수치(English 체크포인트 421M)와 대략 일치한다. 다만 “15.3ms”·“11배” 같은 지연시간·배수 수치는 각자 다른 하드웨어(M5 Pro, 16GB MacBook Air 등)에서 자체 측정한 것으로, 저장소 공식 수치(M3 Max 기준 13.42ms/7.39ms P50)와 방법론이 달라 그대로 비교할 수 없다 — 인용 시 출처를 구분해야 한다.
해석과 적용 메모
- laya-mlx는 interfaze-ai/lev와 같은 날 위키에 들어온 “클라우드 typed-decision API(Jev) 대체” 축의 또 다른 사례지만, 접근이 정반대다. lev는 Qwen3.5-4B LoRA 어댑터로 GPU가 필요하고 Modal H100에서 종단 지연 414
654ms를 측정했다 — 엔진 자체(69ms)는 빠르지만 서빙 인프라가 체감 지연을 좌우한다. laya-mlx는 322421M의 훨씬 작은 모델을 Apple Silicon 온디바이스로 완전히 내려서 7~14ms를 낸다. 즉 lev는 “오픈소스 대체 서버”에 가깝고 laya-mlx는 “클라우드 왕복 자체를 없애는 온디바이스 포트”에 가깝다. - 두 프로젝트 모두 원본 모델(Jev, Laya)의 실사용 벤치마크를 직접 공개하지 않고 제3자·자체 측정으로 유추해야 하는 상황이라, “Jev 대비 몇 배”류의 수치는 항상 측정 조건을 같이 확인할 필요가 있다.
- typed decision을 코드 제어 흐름 안에서 좁은 판단 프리미티브로 쓰는 설계 원칙 자체는 2026-09-20-typesafe-ai-skills의 SKILL.md 지침과 동일한 계열이다 — “모델은 형식화된 판단만, 흐름 제어는 코드가 소유”.
- 벤치마크 수치(13.42ms 등)는 M3 Max 40GPU/128GiB라는 상위 사양 기준이라, 더 낮은 사양(M2/M5 Pro 등)에서는 X 반응들이 보여주듯 실측치가 달라진다 — 배포 전 실제 타깃 기기에서 재측정 권장.
관련 노트
- interfaze-ai/lev — 같은 typed-decision/Jev 대체 축의 GPU 서버형 대안 (Qwen3.5-4B LoRA)
- jev-ultrafast — 클라우드 typed-decision API “Jev”를 브라우저 자동화에 쓴 사례, 지연시간 최적화 관점 비교 대상
- 2026-09-20-typesafe-ai-skills — typed decision을 좁은 판단 프리미티브로 쓰는 설계 원칙(코드가 제어 흐름 소유)
- Ollaya — 원본 laya(Convai Innovations)를 포함해 8개 결정 모델을 하나의 Ollama 격 CLI/API로 묶어 배포하는 로컬 런타임
- moc-ai-models — AI 모델 MOC