LLM Wiki

colibri: 744B MoE 모델을 25GB RAM 소비자 PC에서 실행하는 순수 C 추론 엔진

Properties2
descriptionPyTorchKR에서 소개한 colibri-744b-moe 관련 자료를 정리한 요약 노트.
tagsai-models, research

5 min read

출처

개요

colibri: 744B MoE 모델을 25GB RAM 소비자 PC에서 실행하는 순수 C 추론 엔진

개요

colibri는 744B 파라미터 규모의 GLM-5.2 MoE 모델을 약 25GB RAM의 소비자 PC에서 실행하기 위한 순수 C 추론 엔진이다. 모델 전체를 RAM에 올리는 대신, 항상 필요한 밀집 부분은 int4로 메모리에 상주시키고 라우팅 전문가 가중치는 디스크에 저장한 뒤 토큰 생성에 필요한 부분만 읽는다. 엔진은 Python과 BLAS 없이 동작하며, 선택적으로 CUDA 계층과 OpenAI 호환 HTTP API를 사용할 수 있다. 다만 추론 속도는 저장장치와 RAM에 크게 좌우되며, 저자는 이를 고성능 엔진이라기보다 대형 MoE 모델을 작은 메모리에서 실행하는 실험적 구현으로 제시한다.

핵심 포인트

  • 744B MoE 모델이라도 토큰당 실제 활성 파라미터는 약 40B이며, colibri는 약 17B 규모의 밀집 부분만 int4로 양자화해 RAM에 상주시킨다.
  • 75개 MoE 레이어와 256개 전문가로 구성된 21,504개 라우팅 전문가의 가중치 약 370GB는 디스크에 두고, 레이어별 LRU 캐시와 운영체제 페이지 캐시를 활용해 필요한 전문가를 스트리밍한다.
  • 사용 중 자주 호출된 전문가를 .coli_usage에 기록하고 다음 실행 때 미리 고정해 캐시 적중률을 높인다. 전문가 캐시 크기는 실행 시점의 MemAvailable을 기준으로 자동 조정된다.
  • MLA 어텐션과 압축 KV 캐시, GLM-5.2의 MTP 기반 추측 디코딩, JSON·함수 호출용 GBNF 문법 초안, AVX2 기반 정수 내적 커널, DSA 희소 어텐션, KV 캐시 지속성을 구현했다.
  • 개발 장비 기준 모델 크기는 약 370GB, 상주 RAM은 9.9GB, 대화 중 최대 RSS는 약 20GB이며, 콜드 디코딩 처리량은 약 0.05~0.1토큰/초였다.
  • 커뮤니티 측정에서는 128GB 통합 메모리의 Apple M5 Max에서 약 1.06토큰/초, Metal 백엔드와 46.9GB 전문가 고정을 적용한 구성에서 약 2.06토큰/초가 보고됐다. int4 양자화의 정확도 영향은 아직 측정되지 않았다.

왜 중요한가

MoE 모델의 전체 파라미터 수와 토큰 생성 시 실제로 사용하는 파라미터 수 사이의 차이를 이용하면, 데이터센터 GPU 없이도 매우 큰 모델을 실행할 여지가 있음을 보여준다. 특히 모델을 RAM이 아니라 디스크와 캐시 계층에 분산하는 방식, MTP·문법 기반 초안·전문가 사용 이력 등을 결합한 점이 대형 로컬 추론 시스템 설계에서 참고할 만하다. 반면 디스크 읽기량이 매우 크고 RAM이 부족한 환경에서는 콜드 상태가 지속되므로, 실용성은 하드웨어와 캐시 적중률에 크게 의존한다.

후속 링크와 키워드

원문 보존 위치

원문 전체는 raw source: web-2026-07-14-pytorchkr-topic-11221-colibri-744b-moe-25gb-ram-pc-c에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크