원문: magnitude.dev · 모델 카탈로그 · GitHub · 수집일: 2026-10-02

핵심 요지

Magnitude는 에이전트용 로컬 추론 엔진이다. llama-cpp·ollama·LM Studio가 넓은 하드웨어 계열용으로 미리 컴파일한 커널을 배포하는 것과 달리, 모델을 돌리기 전에 사용자의 실제 기기에서 커널을 컴파일하고 튜닝한다. 데스크톱 앱 형태로 오픈 모델을 내려받아 실행하고, 이미 쓰는 에이전트에 연결해 준다. 라이선스는 Apache 2.0, YC 투자를 받았다.

성능 주장 (자체 벤치마크)

Qwen 3.6 35B A3B, 4-bit, 64k 컨텍스트, 추측 디코딩 없이 llama.cpp와 비교한 수치다.

환경프리필디코드
Metal — Mac M4 Pro 48 GB466 → 507 tok/s (+9%)30 → 57 tok/s (+92%)
CUDA — DGX Spark2,033 → 2,507 tok/s (+23%)49 → 58 tok/s (+19%)

“최대 2배”는 Metal 디코드(+92%)에서 나온 값이고 CUDA 디코드는 +19%에 그친다. 모델 하나·설정 하나에 대한 제조사 측정이므로 일반화하기 전에 독립 검증이 필요하다.

특징

  • 기기별 튜닝: 하드웨어를 프로파일링해 모델별 예상 tok/s를 다운로드 전에 보여 주고, 메모리에 맞는 최고 정밀도 양자화(Q4~Q8, QAT 변형)를 권장한다.
  • 인기 오픈 가중치 계열용 수작업 커널: 범용 엔진을 이기는 근거로 제시한다.
  • 메모리: 에이전트당 메모리 27% 절감, 에이전트가 멈추면 해제.
  • 동시 세션: 세션 간 프리픽스 캐시를 공유해 동시 실행 시 속도 저하를 막는다.
  • 추측 디코딩: 카탈로그에 DFlash·DFlash2·DSpark 표기가 붙은 드래프트 모델을 모델과 함께 설치한다.
  • 프라이버시: 프롬프트·파일·모델이 로컬에 머물고, 모델을 받은 뒤에는 인터넷이 필요 없다.

지원 범위

  • 하드웨어: Apple Silicon, NVIDIA, AMD GPU, CPU 전용. 최소 사양 없음. OS는 macOS·Linux·Windows.
  • 에이전트 연동(원클릭): Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi, Cline. 그 외는 OpenAI 호환 API로 연결한다.
  • 모델: 15종(2026-09-29 카탈로그 기준). 모델 파일은 Hugging Face 커밋 해시로 고정된다.

모델 카탈로그 하이라이트

지능 점수는 Artificial Analysis Intelligence Index를 최상위 모델 대비 %로 환산한 값이며, 미측정 모델은 Magnitude의 추정이다.

모델구조지능Q4 용량
[[qwenQwen3.8 27B]] (2026-08)27B dense, 비전, 256K59%
Gemma 4 31B31B dense, 256K33%18.5 GB (QAT)
Qwen3.6 35B-A3BMoE 활성 3B, 256K32%24.2 GB
Meta Muse Glimmer 30B30B dense, 128K30%19.6 GB
Nemotron 3.5 Lightning 30B-A3B하이브리드 MoE, 1M22%26.6 GB
MiniCPM5 1B1.1B dense15%0.7 GB

나머지는 Gemma 4(26B-A4B·12B·E4B·E2B), Qwen3.5(9B·4B), MiniCPM5 2B, Liquid LFM2.5(2.6B·8B-A1B)다. 라이선스는 모델마다 다르다(Qwen3.8·Gemma 4는 Apache 2.0, Nemotron은 OpenMDW 1.1, Liquid는 LFM 1.0). 48 GB급 기기에서 쓸 만한 선택지는 Qwen3.8 27B(지능 59%로 압도적 1위)다.

GitHub 현황 (2026-10-02 조회)

Rust 구현, Apache-2.0, ★6,247, 저장소 생성 2026-06-12(약 3.5개월). 최신 릴리스 @magnitudedev/cli@0.2.4(10-01 0.2.3에 이어 하루 간격)로 아직 0.x의 빠른 개발 단계다.

한계·유의점

  • 속도 수치는 자체 측정이며 비교 대상 llama.cpp의 버전·빌드 옵션은 공개되지 않았다.
  • 비교한 모델이 MoE(Qwen 3.6 35B-A3B) 하나라 dense 모델이나 긴 컨텍스트에서의 이점은 확인되지 않았다.
  • 카탈로그가 15종이라 ollama 레지스트리나 GGUF 전체를 직접 불러오는 방식보다 선택 폭이 좁다.
  • 0.x 버전이라 API·카탈로그가 바뀔 수 있다.

관련 노트