개요
언더독AI가 애플 MLX보다 최대 4.5배 빠른 로컬 추론 엔진 Husky를 공개했다고 @choi.openai가 전했다.
어떻게 빨라졌나
Husky는 여러 모델을 받는 범용 엔진이 아니다. 자사 Woof 모델 하나에 맞춰 설계한 MSI(Model-Specific Inference) 방식이다.
- 모델 구조를 미리 알고 있으니 정규화, 4비트 압축 해제, 행렬 연산을 GPU 작업 하나로 묶었다.
- 그만큼 CPU와 GPU를 반복해서 오가는 비용이 줄었다.
- 결과적으로 맥북에서 Woof를 최대 초당 730토큰까지 돌린다고 한다.
- 인터넷 없이 Mac과 iPhone에서 구동된다.
의미
로컬 AI의 병목은 모델 크기만이 아니다. 모델별로 추론 경로를 최적화하는 것만으로도 크게 줄일 수 있다. 범용 엔진 쪽 접근은 2026-05-12-rapid-mlx-apple-silicon-local-ai-engine, 추측 디코딩으로 MLX를 가속한 예는 2026-04-19-dflash-mlx-apple-silicon-inference와 비교해 볼 만하다.
메모
- 2개짜리 스레드 중 첫 글만 수집됐다. Woof의 크기·품질, 측정 기기(칩 종류), 4.5배의 비교 조건은 확인하지 못했다. 모두 개발사 주장이다.
관련 위키
- moc-ai-models — AI 모델 MOC
- 2026-05-12-rapid-mlx-apple-silicon-local-ai-engine — 범용 Apple Silicon 로컬 추론 엔진
- 2026-04-19-dflash-mlx-apple-silicon-inference — MLX 추측 디코딩 가속