로컬에서 실행하는 LLM 생태계에 대한 참조 페이지입니다. moc-llm-wiki와 연계됩니다.

대용량 Apple Silicon 실행 메모

2026-06-26-glm52-mac-studio-dgx-spark-benchmark는 512GB Mac Studio에서 glm-5.2 MLX 4-bit 계열과 GGUF 1/2-bit 계열을 실제로 실행한 사례다. 모델 파일만 약 1.64TB를 내려받았고, MLX 4-bit 계열 하나가 평균 약 401GB였다는 점은 로컬 LLM 운용에서 저장공간·다운로드 대역폭이 성능만큼 중요한 병목이 된다는 것을 보여준다. 실사용 제목 번역에서는 llama-cpp Metal 기반 GGUF UD-IQ2_M이 속도/용량 면에서 매력적이었지만, 품질 안정성은 MLX 4bit가 더 낫게 평가됐다.

2026-07-12-justvugg-colibri는 이 병목을 다른 방향으로 다룬다. dense 모델 전체를 양자화해 상주시키는 대신, GLM-5.2의 routed expert를 약 370GB 디스크에서 스트리밍하고 RAM에는 dense 부분과 학습형 hot cache만 둔다.

2026-10-18-github-prabanta-dev-janas는 같은 expert streaming 패러다임을 실용 모델(48GB Qwen3-Next-80B, 32GB 노트북 생성 24 tok/s)에 적용한 후행 C 엔진으로, colibri(744B 대상·0.05~1 tok/s대)와 AirLLM(Python 범용)·TurboFieldfare(Apple 전용)의 중간 지점이다.

2026-10-11-github-carloslfu-slotstream은 같은 패러다임을 Apple Silicon·125B급(Qwen3.8-Flash-Next MLX 4bit 약 105GB)에 적용한 Swift·MLX/Metal 엔진이다. SSD expert 스트리밍 + RAM hot cache + lookahead prefetch로 1664GB 맥을 타깃하고, 48GB M5 Pro에서 20.9123.69 tok/s(33GB 예산)를 냈다. 96GB 이상(모델 상주 가능)에서는 상주형 엔진이 더 빠르다고 README가 직접 밝힌다.

2026-10-18 기준으로 이 방향의 오픈소스 전체(원류 ds4 포함, Apple Silicon·Windows/Linux·분산 접근별)는 2026-10-18-oss-ssd-streaming-moe-engines에 총정리했다.

다중 GPU 로컬 추론 하드웨어

2026-07-17-pytorchkr-local-llm-gpu-hardware-guide는 RTX PRO 6000 4장, PCIe Gen4 스위치, P2P·전력·Docker 서빙을 조합한 대규모 로컬 추론 장비 사례를 정리한다.