질문: 2026-10-11-github-carloslfu-slotstream처럼 메모리(RAM)보다 큰 모델을 로컬 기기에서 실행하게 해주는 오픈소스를 모두 찾아 정리하라. 답은 볼트에 이미 수집된 페이지 + 2026-10-18 GitHub API·README 직접 조회(웹 조사)를 합친 것이다. 웹 조사 설문은 아직 raw에 수집 전이라 sources: []이며, 스타 수와 활동성은 2026-10-18 조회값이다.

생태계 한 눈

  • 원류는 antirez/ds4(DwarfStar) — 2026-05 시작, C·MIT, 23.9k★. SSD expert streaming + 네이티브 MTP 추측 디코딩을 대중화했고, Metal(맥)/CUDA/ROCm을 모두 친다. 스스로 “beta quality”라 밝힌다.
  • 계보: ds4 → neutronstar(포크, 중단) → pulsar(MiT 재작성, Linux+CUDA, 4단 expert 캐시). 맥 쪽은 slotstream(125B 전용), TurboFieldfare(2GB footprint), Edge0(제품화)가 각자의 방향으로 분기했다. Windows/Linux는 Strata(27k★)가 인지도 1위.
  • llama.cpp 업스트림엔 SSD expert streaming이 아직 병합되지 않았다 — 기존 기능은 --n-cpu-moe(expert를 RAM에 두는 방식)이고, 스트리밍은 포크 라인(mihailescu2m → npanj → ByronScottJones의 --moe-stream)에만 존재한다.
  • 상주형(linux ktransformers 등 CPU/GPU 하이브리드, 학계 MoE-Infinity, Python 범용 airllm)은 같은 문제를 다른 축으로 푼다.

표 A — 맥(Apple Silicon)에서 돌릴 수 있는 것

프로젝트방식대상·수치(자체 주장)상태판단
antirez/ds4 (★23,914)SSD expert streaming + MTP,Metal/CUDA/ROCmDeepSeek V4·GLM 5.x·Qwen3.8 등 GGUF 자체 컨버터push 2026-10-08, 활발맥용 범용 스트리밍의 최상 표적. “beta” 자평, 신뢰 우선 확인 후 쓰기
slotstream (★477)Swift·MLX/Metal, Qwen3.8 125B 전용, 메모리 16~64GB48GB M5 Pro 21~24 tok/s(33GB 예산)push 2026-10-16, v0.2.2916~64GB 맥 + 이 모델 최적. 페이지 상세의 비슷한 오픈소스 표 참고
TurboFieldfare (★6,941)Swift·Metal, Gemma 4 26B-A4B 전용, LFU 캐시~2GB RAM footprint, 8GB Air 대상push 2026-10-15초저메모리 맥 최적. 단일 모델 한정
Edge0-AI/Edge0 (★5,679)MLX SSD offload + Prerouter(라우팅 예측) + Recover-LoRAEdge0-35B-A3B ~2.5GB RAM, Mac mini M4 Pro 24GB 15–18 tok/s 자벤push 2026-10-16, arXiv 보고서자체 모델+앱의 “제품화” 계열. 기술보고서(arXiv:2609.18063) 동봉. 볼트 미수집
SwiftLM (★784)MLX Swift 서버, SSD streaming + KV 압축100B+ MoE (Qwen3.5-397B on M3 Max)push 2026-10-17모델 대응 폭 넓은 맥 서버 대안
AirLLM (★39,213)Python, 레이어·expert 스트리밍Transformers 호환 범용, macOS는 Apple Silicon+MLX유지 중진입 장벽 최저, 속도는 네이티브 대비 불리
llama-cpp (★131,547)상주 + mmap + GPU 오프로드48GB 초과 MoE는 OOM 사례(2026-10-18-github-prabanta-dev-janas 실측)표준메모리 안 넘치는 모델의 기본값. 스트리밍은 포크만
ByronScottJones/Moe-llama.cpp 포크 라인--moe-stream + lookahead 프리페치Qwen3.8 V3 95.5GiB on 64GB, M1 Max 64GB ~8 t/s(제3자 후기 존재)스타 각각 11/0 — 상류(llama.cpp)→mihailescu2m→npanj→ByronScottJones 3단 포크업스트림 병합 대기 중인 접근. 초저인지라 신중 비교 대상
상주형(96GB+ 맥): MTPLX (★2,597) · oMLX (★22,894) · Rapid-MLX · Magnitude메모리 상주 + 고속 커널MTPLX M5 Max 125 tok/s 자칭모두 활발모델이 다 들어가면 스트리밍보다 빠르다(slotstream ENGINEERING 명시)

A 표의 초기·주의 상자 (돌리는 데 이상은 있으나 권장 아님)

  • t8/hypura (★667) — 이 분야 최초(2026-03) storage-tier 스케줄러. 라이선스 파일 없음, Mixtral 한정, 밀집 거대 모델은 0.3 tok/s급. (볼트 밖으로 링크만)
  • danveloper/flash-moe (★4,258) — 397B on M3 Max 사례. 라이선스 없음 + 2026-03 이후 중단, 시작점으로 비추천.
  • quantumnic/ssd-llm (★55) — 밀집 위주 SSD 스트리밍. 벤치 대부분 “TBD”, 쌍둥이 레포 존재(format 파밍 주의).
  • MahdiHedhli/PulsarMLX (★0) — pulsar의 MLX 이식, 생성 2026-08. 라이선스 미분류(NOASSERTION), 미검증.
  • derekrparris/DynaMoE (★5) — 네이티브 SwiftUI SSD 스트리밍 앱, 오늘도 push되지만 커뮤니티 검증 인프라 부재.
  • GradientHQ/parallax (★1,397) — “MLX parallax”의 정체: Apple 프로젝트가 아니라 Gradient의 분산 서빙 OSS(Mac MLX 파티션 포함). 7월 이후 push 없음.

표 B — Windows/Linux 전용 (맥 링크·참고용)

프로젝트방식상태
Strata (★27,091)GPU VRAM+RAM+SSD 3단 분산, 원클릭이 분야 최대 활성 (push 2026-10-17)
Janas (★434)순수 C, NVMe expert streaming, Qwen3-Next-80B 24 tok/sx86-64 Linux/Windows
colibri (★42,636)순수 C, GLM-5.2 744B dense 상주 + 21,504 expert 스트리밍선행 사례, 370GB 저장공간
giannisanni/pulsar (★230)4단 expert 캐시(VRAM→호스트→io_uring), 라우터 예측 프리페치, 11개 아키텍처ds4→neutronstar→pulsar 계보, Rust+CUDA, 리눅스+소비자 GPU
ferrumox/rabbit (★191)“정확성 우선” expert streaming, Qwen 3.8 MAX 2.4T on 50GB RAM0.015–0.02 tok/s의 정직한 느림, “가능하다”의 층위
kvcache-ai/ktransformers (★19.6k)CPU/GPU 하이브리드 서빙 (DeepSeek 계열)기존 시스템, push 2026-10-16으로 유지
EfficientMoE/MoE-Infinity (★373)activation-aware expert offload(학계 시스템)2026년에도 유지 보수 중

표 C — 분산 접근 (단일 맥 한계를 기기 독려로 푸는 방향)

  • exo — 맥 여러 대를 클러스터로 묶어 122B급 구동. 두 번째 기기가 있으면 스트리밍 엔진의 대안.
  • parallax(위 A 표) — GPU 노드 + 맥 MLX 노드 혼합 분산 서빙. 활동성 저하.

선택 기준 (2026-10-18 기준)

맥 16~64GB + Qwen3.8-Flash-Next   → slotstream (모델 105GB는 내장 SSD에)
맥에서 여러 MoE를 범용 스트리밍    → ds4 (Metal·GGUF, "beta" 자평)
맥 초저메모리(8~32GB) 가벼운 35B급 → Edge0 또는 TurboFieldfare (~2GB 급)
맥 96GB+(모델 상주 가능)          → 상주형: MTPLX·oMLX·Rapid-MLX·Magnitude
Windows/Linux 소비자 GPU          → Strata(인지도)·Janas(경량)·pulsar(다양성)
두 번째 기기가 있다                → exo·parallax 분산

수치·품질 유의

  • 모든 tok/s는 각 프로젝트의 자체 주장이다. 모델·양자화·컨텍스트·SSD가 전부 달라 상호 비교 불가하다. 제3자 기록은 janas llama.cpp 동일 머신 비교, Moe-llama.cpp 계열의 일본어 후기(8 t/s급), colibri·Strata의 사용자 보고 표 정도다.
  • 라이선스 결손 3건: hypura, flash-moe(라이선스 파일 없음 = 사용 권한 없음), PulsarMLX(NOASSERTION). 업무 사용 전 반드시 확인.
  • 초신생 레포(스타 <100, 기여자 1인)는 커뮤니티 코드 리뷰가 이뤄지지 않았을 가능성이 높다. 이 분야는 AI 보조 개발이 널리 쓰여 품질 편차가 크다(ds4도 AI 보조 생성을 README에 명시).
  • 스타 수는 급변한다(ds4 8월 19.7k → 10월 23.9k).

관련 페이지