원문: magnitude.dev · 모델 카탈로그 · GitHub · 수집일: 2026-10-02
핵심 요지
Magnitude는 에이전트용 로컬 추론 엔진이다. llama-cpp·ollama·LM Studio가 넓은 하드웨어 계열용으로 미리 컴파일한 커널을 배포하는 것과 달리, 모델을 돌리기 전에 사용자의 실제 기기에서 커널을 컴파일하고 튜닝한다. 데스크톱 앱 형태로 오픈 모델을 내려받아 실행하고, 이미 쓰는 에이전트에 연결해 준다. 라이선스는 Apache 2.0, YC 투자를 받았다.
성능 주장 (자체 벤치마크)
Qwen 3.6 35B A3B, 4-bit, 64k 컨텍스트, 추측 디코딩 없이 llama.cpp와 비교한 수치다.
| 환경 | 프리필 | 디코드 |
|---|---|---|
| Metal — Mac M4 Pro 48 GB | 466 → 507 tok/s (+9%) | 30 → 57 tok/s (+92%) |
| CUDA — DGX Spark | 2,033 → 2,507 tok/s (+23%) | 49 → 58 tok/s (+19%) |
“최대 2배”는 Metal 디코드(+92%)에서 나온 값이고 CUDA 디코드는 +19%에 그친다. 모델 하나·설정 하나에 대한 제조사 측정이므로 일반화하기 전에 독립 검증이 필요하다.
특징
- 기기별 튜닝: 하드웨어를 프로파일링해 모델별 예상 tok/s를 다운로드 전에 보여 주고, 메모리에 맞는 최고 정밀도 양자화(Q4~Q8, QAT 변형)를 권장한다.
- 인기 오픈 가중치 계열용 수작업 커널: 범용 엔진을 이기는 근거로 제시한다.
- 메모리: 에이전트당 메모리 27% 절감, 에이전트가 멈추면 해제.
- 동시 세션: 세션 간 프리픽스 캐시를 공유해 동시 실행 시 속도 저하를 막는다.
- 추측 디코딩: 카탈로그에 DFlash·DFlash2·DSpark 표기가 붙은 드래프트 모델을 모델과 함께 설치한다.
- 프라이버시: 프롬프트·파일·모델이 로컬에 머물고, 모델을 받은 뒤에는 인터넷이 필요 없다.
지원 범위
- 하드웨어: Apple Silicon, NVIDIA, AMD GPU, CPU 전용. 최소 사양 없음. OS는 macOS·Linux·Windows.
- 에이전트 연동(원클릭): Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline. 그 외는 OpenAI 호환 API로 연결한다.
- 모델: 15종(2026-09-29 카탈로그 기준). 모델 파일은 Hugging Face 커밋 해시로 고정된다.
모델 카탈로그 하이라이트
지능 점수는 Artificial Analysis Intelligence Index를 최상위 모델 대비 %로 환산한 값이며, 미측정 모델은 Magnitude의 추정이다.
| 모델 | 구조 | 지능 | Q4 용량 |
|---|---|---|---|
| [[qwen | Qwen3.8 27B]] (2026-08) | 27B dense, 비전, 256K | 59% |
| Gemma 4 31B | 31B dense, 256K | 33% | 18.5 GB (QAT) |
| Qwen3.6 35B-A3B | MoE 활성 3B, 256K | 32% | 24.2 GB |
| Meta Muse Glimmer 30B | 30B dense, 128K | 30% | 19.6 GB |
| Nemotron 3.5 Lightning 30B-A3B | 하이브리드 MoE, 1M | 22% | 26.6 GB |
| MiniCPM5 1B | 1.1B dense | 15% | 0.7 GB |
나머지는 Gemma 4(26B-A4B·12B·E4B·E2B), Qwen3.5(9B·4B), MiniCPM5 2B, Liquid LFM2.5(2.6B·8B-A1B)다. 라이선스는 모델마다 다르다(Qwen3.8·Gemma 4는 Apache 2.0, Nemotron은 OpenMDW 1.1, Liquid는 LFM 1.0). 48 GB급 기기에서 쓸 만한 선택지는 Qwen3.8 27B(지능 59%로 압도적 1위)다.
GitHub 현황 (2026-10-02 조회)
Rust 구현, Apache-2.0, ★6,247, 저장소 생성 2026-06-12(약 3.5개월). 최신 릴리스 @magnitudedev/cli@0.2.4(10-01 0.2.3에 이어 하루 간격)로 아직 0.x의 빠른 개발 단계다.
한계·유의점
- 속도 수치는 자체 측정이며 비교 대상 llama.cpp의 버전·빌드 옵션은 공개되지 않았다.
- 비교한 모델이 MoE(Qwen 3.6 35B-A3B) 하나라 dense 모델이나 긴 컨텍스트에서의 이점은 확인되지 않았다.
- 카탈로그가 15종이라 ollama 레지스트리나 GGUF 전체를 직접 불러오는 방식보다 선택 폭이 좁다.
- 0.x 버전이라 API·카탈로그가 바뀔 수 있다.
관련 노트
- local-llm — 로컬 LLM 운영 전반
- llama-cpp — 성능 비교 기준 엔진
- 2026-09-29-threads-strata-125b-consumer-gpu — 125B MoE를 VRAM·RAM·SSD에 나눠 게이밍 PC에서 돌리는 또 다른 로컬 엔진
- 2026-09-10-threads-qwen3-8-27b-local-pi — 카탈로그 1위 Qwen3.8 27B를 llama.cpp+Pi로 로컬 운용하는 설정
- moc-ai-models — 인프라 & 도구