질문: 2026-10-11-github-carloslfu-slotstream처럼 메모리(RAM)보다 큰 모델을 로컬 기기에서 실행하게 해주는 오픈소스를 모두 찾아 정리하라. 답은 볼트에 이미 수집된 페이지 + 2026-10-18 GitHub API·README 직접 조회(웹 조사)를 합친 것이다. 웹 조사 설문은 아직 raw에 수집 전이라
sources: []이며, 스타 수와 활동성은 2026-10-18 조회값이다.
생태계 한 눈
- 원류는 antirez/ds4(DwarfStar) — 2026-05 시작, C·MIT, 23.9k★. SSD expert streaming + 네이티브 MTP 추측 디코딩을 대중화했고, Metal(맥)/CUDA/ROCm을 모두 친다. 스스로 “beta quality”라 밝힌다.
- 계보: ds4 → neutronstar(포크, 중단) → pulsar(MiT 재작성, Linux+CUDA, 4단 expert 캐시). 맥 쪽은 slotstream(125B 전용), TurboFieldfare(2GB footprint), Edge0(제품화)가 각자의 방향으로 분기했다. Windows/Linux는 Strata(27k★)가 인지도 1위.
- llama.cpp 업스트림엔 SSD expert streaming이 아직 병합되지 않았다 — 기존 기능은
--n-cpu-moe(expert를 RAM에 두는 방식)이고, 스트리밍은 포크 라인(mihailescu2m → npanj → ByronScottJones의--moe-stream)에만 존재한다. - 상주형(linux ktransformers 등 CPU/GPU 하이브리드, 학계 MoE-Infinity, Python 범용 airllm)은 같은 문제를 다른 축으로 푼다.
표 A — 맥(Apple Silicon)에서 돌릴 수 있는 것
| 프로젝트 | 방식 | 대상·수치(자체 주장) | 상태 | 판단 |
|---|---|---|---|---|
| antirez/ds4 (★23,914) | SSD expert streaming + MTP,Metal/CUDA/ROCm | DeepSeek V4·GLM 5.x·Qwen3.8 등 GGUF 자체 컨버터 | push 2026-10-08, 활발 | 맥용 범용 스트리밍의 최상 표적. “beta” 자평, 신뢰 우선 확인 후 쓰기 |
| slotstream (★477) | Swift·MLX/Metal, Qwen3.8 125B 전용, 메모리 16~64GB | 48GB M5 Pro 21~24 tok/s(33GB 예산) | push 2026-10-16, v0.2.29 | 16~64GB 맥 + 이 모델 최적. 페이지 상세의 비슷한 오픈소스 표 참고 |
| TurboFieldfare (★6,941) | Swift·Metal, Gemma 4 26B-A4B 전용, LFU 캐시 | ~2GB RAM footprint, 8GB Air 대상 | push 2026-10-15 | 초저메모리 맥 최적. 단일 모델 한정 |
| Edge0-AI/Edge0 (★5,679) | MLX SSD offload + Prerouter(라우팅 예측) + Recover-LoRA | Edge0-35B-A3B ~2.5GB RAM, Mac mini M4 Pro 24GB 15–18 tok/s 자벤 | push 2026-10-16, arXiv 보고서 | 자체 모델+앱의 “제품화” 계열. 기술보고서(arXiv:2609.18063) 동봉. 볼트 미수집 |
| SwiftLM (★784) | MLX Swift 서버, SSD streaming + KV 압축 | 100B+ MoE (Qwen3.5-397B on M3 Max) | push 2026-10-17 | 모델 대응 폭 넓은 맥 서버 대안 |
| AirLLM (★39,213) | Python, 레이어·expert 스트리밍 | Transformers 호환 범용, macOS는 Apple Silicon+MLX | 유지 중 | 진입 장벽 최저, 속도는 네이티브 대비 불리 |
| llama-cpp (★131,547) | 상주 + mmap + GPU 오프로드 | 48GB 초과 MoE는 OOM 사례(2026-10-18-github-prabanta-dev-janas 실측) | 표준 | 메모리 안 넘치는 모델의 기본값. 스트리밍은 포크만 |
| ByronScottJones/Moe-llama.cpp 포크 라인 | --moe-stream + lookahead 프리페치 | Qwen3.8 V3 95.5GiB on 64GB, M1 Max 64GB ~8 t/s(제3자 후기 존재) | 스타 각각 11/0 — 상류(llama.cpp)→mihailescu2m→npanj→ByronScottJones 3단 포크 | 업스트림 병합 대기 중인 접근. 초저인지라 신중 비교 대상 |
| 상주형(96GB+ 맥): MTPLX (★2,597) · oMLX (★22,894) · Rapid-MLX · Magnitude | 메모리 상주 + 고속 커널 | MTPLX M5 Max 125 tok/s 자칭 | 모두 활발 | 모델이 다 들어가면 스트리밍보다 빠르다(slotstream ENGINEERING 명시) |
A 표의 초기·주의 상자 (돌리는 데 이상은 있으나 권장 아님)
- t8/hypura (★667) — 이 분야 최초(2026-03) storage-tier 스케줄러. 라이선스 파일 없음, Mixtral 한정, 밀집 거대 모델은 0.3 tok/s급. (볼트 밖으로 링크만)
- danveloper/flash-moe (★4,258) — 397B on M3 Max 사례. 라이선스 없음 + 2026-03 이후 중단, 시작점으로 비추천.
- quantumnic/ssd-llm (★55) — 밀집 위주 SSD 스트리밍. 벤치 대부분 “TBD”, 쌍둥이 레포 존재(format 파밍 주의).
- MahdiHedhli/PulsarMLX (★0) — pulsar의 MLX 이식, 생성 2026-08. 라이선스 미분류(NOASSERTION), 미검증.
- derekrparris/DynaMoE (★5) — 네이티브 SwiftUI SSD 스트리밍 앱, 오늘도 push되지만 커뮤니티 검증 인프라 부재.
- GradientHQ/parallax (★1,397) — “MLX parallax”의 정체: Apple 프로젝트가 아니라 Gradient의 분산 서빙 OSS(Mac MLX 파티션 포함). 7월 이후 push 없음.
표 B — Windows/Linux 전용 (맥 링크·참고용)
| 프로젝트 | 방식 | 상태 |
|---|---|---|
| Strata (★27,091) | GPU VRAM+RAM+SSD 3단 분산, 원클릭 | 이 분야 최대 활성 (push 2026-10-17) |
| Janas (★434) | 순수 C, NVMe expert streaming, Qwen3-Next-80B 24 tok/s | x86-64 Linux/Windows |
| colibri (★42,636) | 순수 C, GLM-5.2 744B dense 상주 + 21,504 expert 스트리밍 | 선행 사례, 370GB 저장공간 |
| giannisanni/pulsar (★230) | 4단 expert 캐시(VRAM→호스트→io_uring), 라우터 예측 프리페치, 11개 아키텍처 | ds4→neutronstar→pulsar 계보, Rust+CUDA, 리눅스+소비자 GPU |
| ferrumox/rabbit (★191) | “정확성 우선” expert streaming, Qwen 3.8 MAX 2.4T on 50GB RAM | 0.015–0.02 tok/s의 정직한 느림, “가능하다”의 층위 |
| kvcache-ai/ktransformers (★19.6k) | CPU/GPU 하이브리드 서빙 (DeepSeek 계열) | 기존 시스템, push 2026-10-16으로 유지 |
| EfficientMoE/MoE-Infinity (★373) | activation-aware expert offload(학계 시스템) | 2026년에도 유지 보수 중 |
표 C — 분산 접근 (단일 맥 한계를 기기 독려로 푸는 방향)
- exo — 맥 여러 대를 클러스터로 묶어 122B급 구동. 두 번째 기기가 있으면 스트리밍 엔진의 대안.
- parallax(위 A 표) — GPU 노드 + 맥 MLX 노드 혼합 분산 서빙. 활동성 저하.
선택 기준 (2026-10-18 기준)
맥 16~64GB + Qwen3.8-Flash-Next → slotstream (모델 105GB는 내장 SSD에)
맥에서 여러 MoE를 범용 스트리밍 → ds4 (Metal·GGUF, "beta" 자평)
맥 초저메모리(8~32GB) 가벼운 35B급 → Edge0 또는 TurboFieldfare (~2GB 급)
맥 96GB+(모델 상주 가능) → 상주형: MTPLX·oMLX·Rapid-MLX·Magnitude
Windows/Linux 소비자 GPU → Strata(인지도)·Janas(경량)·pulsar(다양성)
두 번째 기기가 있다 → exo·parallax 분산
수치·품질 유의
- 모든 tok/s는 각 프로젝트의 자체 주장이다. 모델·양자화·컨텍스트·SSD가 전부 달라 상호 비교 불가하다. 제3자 기록은 janas llama.cpp 동일 머신 비교, Moe-llama.cpp 계열의 일본어 후기(8 t/s급), colibri·Strata의 사용자 보고 표 정도다.
- 라이선스 결손 3건: hypura, flash-moe(라이선스 파일 없음 = 사용 권한 없음), PulsarMLX(NOASSERTION). 업무 사용 전 반드시 확인.
- 초신생 레포(스타 <100, 기여자 1인)는 커뮤니티 코드 리뷰가 이뤄지지 않았을 가능성이 높다. 이 분야는 AI 보조 개발이 널리 쓰여 품질 편차가 크다(ds4도 AI 보조 생성을 README에 명시).
- 스타 수는 급변한다(ds4 8월 19.7k → 10월 23.9k).
관련 페이지
- 2026-10-11-github-carloslfu-slotstream — 이 질문의 기준점. “비슷한 오픈소스” 표의 확장판이 이 페이지다
- 2026-10-18-github-prabanta-dev-janas · 2026-07-12-justvugg-colibri · 2026-07-30-drumih-turbo-fieldfare · 2026-08-05-github-lyogavin-airllm · 2026-04-26-swiftlm-apple-silicon-inference — 볼트에 수집된 스트리밍 엔진들
- 2026-09-29-threads-strata-125b-consumer-gpu · 2026-10-02-magnitude-dev-inference-engine · 2026-05-12-rapid-mlx-apple-silicon-local-ai-engine — 상주형/서빙형 대안
- 2026-03-23-exo-local-ai-cluster · llama-cpp · qwen · local-llm · moc-ai-models