원문 carloslfu/slotstream 저장소 메타(2026-10-28 gh api 재확인): MIT, 2026-08-28 생성, Stars 602, Forks 50, 열린 이슈 77, 최신 릴리스 v0.2.30(2026-10-19), 마지막 푸시 2026-10-26. (10-18 값은 Stars 477, Forks 39, v0.2.29.) Guillermo Rauch의 오픈소스 개인 지원금 선정 프로젝트다. 처음 알게 된 경로는 2026-10-09 저장한 Threads 게시물(@nangman_muk)이다.^[raw/articles/2026-10-18-github-carloslfu-slotstream-followup.md] 10-28 README는 Hacker News 논의에서 나온 질문과 하드웨어 보고가 개발 방향을 잡는다고 적는다.

한 줄 요약

Qwen3.8-Flash-Next의 MLX 4bit판(약 105GB)은 64GB 맥 메모리에 들어가지 않는다. slotstream은 모델 대부분을 SSD에 두고, 답을 쓰는 동안 필요한 expert만 읽어 오며, 자주 쓰는 expert는 RAM에 캐시해서 메모리 16~64GB 맥에서 이 모델을 돌린다. Windows·Linux용 Strata의 맥 쪽 짝이라고 보면 된다.

무엇이 다른가

  • 한 모델 전용: 로더와 메모리 계획이 이 모델에 맞춰져 있어서 다른 모델은 못 쓴다. 10-28 README는 “한 번에 한 모델만 유지한다”고 못 박고, 후속 모델은 지원 하드웨어에서의 전체 작업 결과로 입증돼야 한다는 기준을 둔다. 표시 이름도 “Original 4-bit”에서 “Qwen3.8-Flash-Next 4-bit”로 바꿨다(동작은 v0.2.30과 동일).
  • 네이티브 Swift 실행 파일 하나: CLI·HTTP 서버·메모리 계획·expert 캐시·모델 구현이 모두 Apple MLX와 Metal 위의 Swift다. gated-delta 재귀·선택 attention·expert 라우팅은 자체 Metal 커널로 돌린다. 실행 경로에 Python이 없고, 모델을 한 번 받으면 오프라인으로 돈다.
  • SSD에서 캐시 슬롯으로 바로 읽기: expert 기록을 SSD에서 GPU가 계산하는 캐시 슬롯으로 곧장 읽는다. 다른 앱이 메모리를 쓰면 캐시를 줄였다가 되돌린다. 캐시 크기는 속도만 바꾸고 모델의 expert를 빼지는 않는다.
  • 미리 읽기(lookahead): 다음 층들이 쓸 expert를 예측해 요청 전에 SSD에서 읽어 둔다. 출력은 바뀌지 않는다. 모델 자체의 MTP 헤드로 2토큰을 추측하는 추측 디코딩도 기본으로 켜져 있다.
  • 측정 기록 공개: 실패한 실험까지 MEASUREMENTS.md에 남긴다.
  • 정리된 범위(10-28): Fast·Q2 모델과 네이티브 Mac 앱은 experiments/로 보관(archived)했다. 소스·라이선스·테스트·결과는 남지만 활성 개발은 엔진·CLI·서빙 API·Swift 라이브러리에 집중한다. 즉 “Mac 앱”을 기대하고 오면 설치 가능한 앱은 없다.

속도

개발자의 48GB M5 Pro는 33GB 메모리 예산에서 초당 20.91~23.69토큰을 냈다(2026-10-05 개발 테스트, 짧은 통제 테스트). 사용자 보고를 포함한 결과는 이렇다.

맥메모리생성 속도
Mac mini M2 (기본 저장장치)16GB1.41 tok/s
MacBook Pro M4 Pro24GB5.41 tok/s
MacBook Air M532GB6.22 tok/s
MacBook Pro M4 Max36GB8.41 tok/s
MacBook Pro M3 Max64GB12.38 tok/s
MacBook Pro M4 Max64GB15.93 tok/s
같은 M4 Max, 모델을 10Gb/s 외장 SSD에64GB2.98 tok/s
MacBook Pro M5 Max (0.2.3, 73GB 수동 설정)128GB약 31.5 tok/s

메모리별 대략적인 기대치는 1624GB 약 16 tok/s, 2448GB 약 516, 4896GB 약 1527이다. 96GB 이상은 모델이 메모리에 다 들어가서 대상이 아니며, 그런 맥에서는 모델을 통째로 올리는 엔진이 더 빠르다고 README가 직접 밝힌다.

프롬프트 처리(0.2.23 이후) — 10-28 README 추가

생성 속도(tok/s)와 별개로, 답이 나오기 전의 프롬프트 읽기가 크게 줄었다. 같은 바이너리에서 기능만 껐다 켠 쌍 비교이고, 48GB M5 Pro·10GB 목표·깨끗한 3쌍이다.

작업대조군중앙값 (대조 → 적용)쌍별 시간 감소
16K 재고 프롬프트(MTP 켬)큰 읽기 작업공간 정책 끔prefill 155.22초 → 53.94초65.40%
2K 산문 후속 질문(MTP 끔)프리픽스 체크포인트 끔요청 30.73초 → 4.42초85.62%

릴리스 설치본으로 따로 잰 2K 프롬프트는 첫 읽기 prefill이 코드 13.8628.11초, 산문 14.9126.51초였고, 똑같은 요청을 반복하면 중앙값 2.79초·3.22초였다. 다만 일부 실행에서 시스템 스왑인이 있었고 요청 이력이 읽기 묶음을 바꿨기 때문에, README는 이 값을 일반 속도 추정이나 생성 속도 헤드라인을 대체하는 값으로 읽지 말라고 한다. 이것은 reply tok/s 상승이 아니라 프롬프트 처리·캐시된 후속 질문의 측정이다.

외장 SSD는 피한다

위 표에서 같은 M4 Max 64GB가 내장 SSD에서는 15.93 tok/s, USB 3.2 Gen 2(10Gb/s) 외장 SSD에서는 2.98 tok/s로 약 5배 느렸다. 8,192토큰 프롬프트 읽기도 270 tok/s에서 51 tok/s로 떨어졌다. slotstream doctor의 속도 추정도 개발 맥의 내장 SSD(17.3GB/s)를 기준으로 하므로, 느린 저장장치에서는 표시값보다 훨씬 낮게 나온다고 경고한다. 문서는 외장 디스크에 두는 방법(pull --dir, serve --model)을 안내하면서도 내장 SSD보다 느릴 수 있다고 적는다.

설치와 사용

curl -fsSL https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh
slotstream doctor                         # 모델을 띄우지 않고 메모리·디스크·계획 확인
slotstream run --prompt "Why is the sky blue?"   # 처음엔 모델 다운로드(수 시간, 이어 받기 가능)
slotstream serve --model "/Volumes/외장/slotstream-model"   # 모델을 다른 디스크에 둔 경우
slotstream launch claude                  # Claude Code를 로컬 모델에 연결해 실행(codex·pi·opencode·hermes도)
  • 요구 사항: Apple Silicon, 메모리 16GB 이상, macOS 14 이상, SSD 여유 약 110GB. 8GB 맥은 스왑 대신 실행을 거부한다. Intel 맥·Windows·Linux는 지원하지 않는다.
  • API: Ollama·OpenAI·Anthropic 호환, Swift 라이브러리. Open WebUI 같은 채팅 앱도 붙는다. 이미지 입력도 된다.
  • 메모리: 자동 모드는 기본 33GB 상한(추측 디코딩 켜고 32K 창이면 34.6GB)을 잡고 다른 앱 몫을 남긴다. --memory-gb 40(고정 캐시)이나 --memory-limit-gb(적응형 상한)로 더 쓸 수 있다. 먼저 doctor --memory-gb 40으로 계획을 미리 본다.
  • 컨텍스트: 자동으로 메모리에 맞는 창을 고르고(64GB면 131K 예시), --max-context로 최대 262K까지 지정한다. 긴 프롬프트는 첫 토큰까지 몇 분 걸린다. 이어지는 대화는 바뀐 부분만 읽고, serve --prefix-cache-dir로 긴 대화를 디스크에 남겨 재시작 뒤에도 재사용한다.

0.2.30 변경점 (2026-10-19, 최신)

  • --mirror <dir> 반복 옵션: 같은 체크포인트를 서로 다른 디스크에 복사해 두면 텍스트·비전 읽기를 복사본들에 나눠 읽는다(복사본별 바이트 보고). 기본은 여전히 복사본 하나. 사용 전 모든 복사본을 검증해야 하고, 패킹된 expert 배치와 인증된 affine 팩은 미러를 거부한다. 속도 향상은 디스크와 작업에 달려 있어 보장되지 않는다(#57, @spikezz). 외장 SSD가 느린 문제(위 표 2.98 tok/s)를 디스크 두 개로 푸는 길이 열린 셈이지만 효과는 측정 전이다.
  • AI SDK 게이트웨이가 잘못된 tool 설정·정의·인자·결과를 조용히 기본값으로 대체하거나 버리지 않고 거부한다(#56, @Pybsama). 적응형 메모리 인수 테스트에 시작·완료 데드라인과 서버 정리를 넣었다(#58).
  • 개발 중인 Mac 앱 이름을 Slotstream으로 바꾸고 CSV/TSV 분석·기억 검색·출처 표시를 넣었으나 Desktop 설치 파일은 없다. 이 앱은 이후 보관됐다.
  • Unreleased(main): Fast·Q2와 Mac 앱 보관, 표시 이름 정리. 릴리스 이후 인터페이스 변경은 없다.

0.2.29 변경점 (2026-10-13)

  • GPU keepalive 완전 제거: base-M5 MacBook Air와 M1 Max Mac Studio에서 keepalive 기본값 켠 채로 심각한 디코드 지연 보고(#55, #59). 이후 생성 경로는 인위적 GPU 작업 제출 없이 동작하고, AC 전원 여부에 따른 동작 변화도 없다. 직접 수요 읽기(direct demand reads)와 정확성 검사는 유지.
  • --gpu-keepalive 플래그·SLOTSTREAM_GPU_KEEPALIVE 환경변수·gpuKeptAwake 통계 삭제. 저장된 명령에서 플래그를 지우고 환경변수는 unset한다.
  • 개발 중 Mac 앱에 Home 전환기·시작 레시피 identity 변경(기존 활성화 영수증은 재활성화 필요). Desktop 공개 릴리스는 아니다.
  • 직전 0.2.28(2026-10-07): 양자화·메모리 상한·실시간 메모리 조정을 Automatic 기본값으로 분리, slotstream model-packs와 --quantization 옵션, expert-lookahead 슬롯 요청 종료 시 해제. 원본 팩이 유일한 지원 선택, 소형 팩은 연구용으로 유지.
  • 교훈: 개발 맥(M5 Pro)에서 빨랐던 keepalive가 다른 맥에서는 역효과 — 기본값에 넣을 최적화는 대상 하드웨어 범위 전체에서 검증해야 한다.

한계

  • 한 번에 생성 하나. 연결한 앱들이 같은 모델을 나눠 쓴다.
  • 폭넓은 벤치마크 없음: 이미지 입력과 tool 호출은 통합 테스트만 있고, 정확도 벤치마크나 같은 맥에서 다른 모델·엔진과의 완료 비교는 없다고 README가 인정한다(10-28).
  • 대화가 길수록 메모리와 시간이 더 든다. 자동 모드가 메모리에 맞는 창을 고르고, 코딩 에이전트 가이드는 에이전트가 필요한 더 큰 창을 쓰도록 안내한다.
  • SSD 마모: 생성은 모델 파일을 읽기만 한다. 다만 slotstream launch가 띄운 서버와 serve --prefix-cache-dir는 긴 대화 턴과 공유 시스템 프롬프트를 디스크 쿼터 안에서 캐시 폴더에 쓴다.
  • 이미지 정확도나 같은 맥에서 다른 엔진과의 비교 같은 폭넓은 벤치마크는 아직 없다.
  • 생성은 모델 파일을 읽기만 해서 SSD를 닳게 하지 않는다. 다만 메모리가 모자라 스왑이 나면 쓰기가 생긴다.
  • 16GB 맥에서 쓴 국내 사용자(@wonjindev, 2026-10-26)는 첫 답장까지 수십 초가 걸린다고 했다. RAM 걱정이 SSD 여유 공간 걱정으로 바뀐다는 요약이다.

내 맥에서 확인한 것 (2026-10-11)

M5 Pro 64GB 맥북의 T7 외장 SSD에 모델(98GB)과 slotstream v0.2.28 빌드가 이미 있었다.

  • slotstream doctor --model /Volumes/T7/slotstream_models: 다른 앱 때문에 회수 가능한 메모리가 약 21GB뿐이라 예산 약 18GB, 층마다 expert 65개 캐시, 컨텍스트 32K로 줄어든 계획을 내놓았다. 추정 속도는 초당 약 8토큰이지만 내장 SSD 기준이다.
  • T7 연속 읽기 실측은 약 0.94GB/s로 내장 기준(17.3GB/s)의 약 1/18이다. 위 M4 Max 외장 SSD 사례를 보면 초당 3토큰 안팎이 현실적이다.
  • 내장 SSD 여유가 약 16GB뿐이라 지금은 모델을 내장으로 옮길 수 없다. 빨라지려면 내장 SSD를 90GB 이상 비우고 옮기는 게 가장 확실하다. 당장은 다른 앱을 닫아 캐시를 키우는 게 외장 SSD에서 특히 효과가 있다.

관련 페이지

비슷한 오픈소스 (2026-10-18 연결)

같은 문제(RAM보다 큰 MoE를 로컬에서 실행)를 푸는 엔진. slotstream의 docs/ENGINEERING.md#related-projects가 직접 지목한 것부터, 볼트에 이미 있는 것까지 묶었다. 수치별 비교는 같은 맥에서 잰 게 아니라서 순위로 읽으면 안 된다.

엔진방식slotstream과의 차이
MTPLX (★2,597)같은 Qwen3.8-Flash-Next를 메모리에 상주 + 네이티브 MTP 추측 디코딩slotstream README가 96GB 이상 맥에 직접 권장한 대안. M5 Max 125 tok/s 자칭. 볼트 미수집 — 다음 수집 후보
2026-07-30-drumih-turbo-fieldfare (★6,941)Swift·Metal, Gemma 4 26B-A4B 전용, routed expert SSD 스트리밍 + LFU 캐시가장 가까운 설계 이웃. 단일 모델·단일 플랫폼 깊이 최적화로 8GB Air에서 2GB footprint 실행. slotstream은 125B급·1664GB 타깃
2026-10-18-github-prabanta-dev-janas (★434)순수 C, NVMe expert 스트리밍, Qwen3-Next-80B 32GB 노트북 24 tok/sx86-64 Linux/Windows 범용. slotstream은 Apple Silicon·MLX/Metal 전용
2026-07-12-justvugg-colibri (★42,636)순수 C, dense 상주 + 21,504 expert 디스크 스트리밍, 744B GLM-5.2 대상expert streaming 패러다임의 선행 사례. 대상이 370GB급이라 실용 문턱이 높고 0.05~1 tok/s대
2026-08-05-github-lyogavin-airllm (★39,213)Python, 레이어·expert 단위 디스크→GPU 스트리밍Transformers 호환 범용. 진입 장벽 최저, 속도는 네이티브 대비 불리
SwiftLM (★784)네이티브 MLX Swift 서버, 100B+ MoE SSD 스트리밍Apple Silicon·Swift라는 스택이 겹침. 볼트에 2026-04-26-swiftlm-apple-silicon-inference 수집됨
Rapid-MLX (★3,994) · oMLX (★22,894)Apple Silicon 범용 추론 서버모델 상주형이라 메모리 초과 MoE는 범위 밖. 볼트에 2026-05-12-rapid-mlx-apple-silicon-local-ai-engine 수집됨
Whallm (★146) · Mference (★122) · mlx-flash (★138) · samosa-chat (★55) · deepseek-v4-flash-mlx (★10) · streamlx (★5) · mlx-moe-offload (★10)MLX 한계 메모리 추론 관련 작업ENGINEERING이 “related work”로 묶은 소규모 실험들. stars·갱신일로 보면 mlx-flash(6월 이후 정체) 외에는 유지보수 중
llama-cpp (★131,547)C/C++, GGUF 상주 + GPU 오프로드, 범용 표준slotstream ENGINEERING도 첫 줄에 둠. 메모리 초과 MoE는 설계 범위 밖
2026-10-02-magnitude-dev-inference-engine (★7,078)Rust, 기기별 커널 자동 튜닝상주형 고속화와 스트리밍은 직교 — 메모리만 되면 Magnitude, 넘치면 slotstream 계열

선택 기준: 16~64GB 맥 + Qwen3.8-Flash-Next → slotstream. 96GB 이상 맥 → 2026-10-11-huggingface-qwen-qwen3-8-flash-next 실행 경로 표대로 MLX 상주 또는 MTPLX. x86-64·Windows/Linux → 2026-10-18-github-prabanta-dev-janas 계열(2026-09-29-threads-strata-125b-consumer-gpu). RAM 8GB급 단일 소형 MoE → 2026-07-30-drumih-turbo-fieldfare 패턴.

2026-10-18에 위 표를 웹 조사와 합쳐 확장한 총정리를 2026-10-18-oss-ssd-streaming-moe-engines에 파일했다. 신규 확인: antirez/ds4(★23.9k)가 이 분야의 원류이며 Metal 주력이라 맥용 범용 스트리밍 후보다. 라이선스 결손(hypura·flash-moe)과 초신생 레포 품질 주의도 거기에 정리했다.