원문: prabanta-dev/janas · GeekNews: topic 35298 · 수집일: 2026-10-18 · 수집: Defuddle CLI(defuddle parse --md)로 GitHub README 추출. GeekNews 본문은 403이라 미수집 — 다이제스트(2026-10-14-geeknews-digest-pm)의 RSS 한줄 요약만 참조. 설치·실행 미검증이라 confidence: medium.

개요

Janas는 Maurizio “camauri” Cammalleri의 의존성 없는 순수 C AI 도구군으로, 첫 컴포넌트 Janas-LLM은 RAM보다 큰 MoE 모델을 일반 PC에서 실행한다. 가중치는 디스크에 두고 토큰마다 필요한 expert만 NVMe SSD에서 스트리밍하며, 자주 재사용되는 expert는 메모리에 캐시한다. CPU 단독 또는 내장 GPU 병행. 라이선스 GPL-3.0-or-later(변환 .jns 파일은 원 모델 라이선스 유지). 저장소 생성 2026-09-20, 수집 시점 stars 434.

핵심 수치

  • 대표 결과(32GB 노트북, Qwen3-Next-80B-A3B 48.4GB): 생성 24 tok/s vs llama.cpp 2.8 tok/s, 프롬프트 읽기(1024 토큰) 62 vs 16 tok/s. 드래프트(MTP·보조 모델) 사용 시 37 tok/s.
  • 비교한 13종 모델 모두 동일 머신의 llama.cpp(Vulkan)보다 빠름. 유일한 예외는 3비트 Qwen3-30B 프롬프트 읽기(Janas 100 vs llama.cpp 112 tok/s, Q3_K 미지원 경로).
  • GeekNews 공식 X 계정(@GeekNewsHada, 2026-10-14)도 같은 수치를 소개했다: Core Ultra 9 185H·내장 Arc GPU·32GB RAM 노트북에서 48.4GB Qwen3-Next-80B-A3B 24 tok/s, 영어 채팅 측정에서 초안 생성으로 37 tok/s.
  • 일상 채팅 기준(prompt 256 + 생성 64) 평균: Qwen3-Next-80B 읽기 64·쓰기 22 tok/s. 드래프트 적중률은 Qwen·Gemma 대형 74~89%.

왜 빠른지

  • llama.cpp는 48GB 모델에서 GPU 개입 시 repack 복사 + 회수 불가 Vulkan 버퍼로 메모리 부족 실패, 우회 빌드(GGML_CPU_REPACK=OFF --no-host 1 -lm mmap)로만 측정됨. Janas-LLM은 별도 옵션 없이 동일 파일 실행 — expert 온디맨드 로딩 + 캐시가 메모리 초과를 흡수.
  • 유휴 머신에서 첫 실행 권장: expert 캐시가 로드 시점의 여유 메모리를 차지하고, 브라우저·에디터 병행 시 속도는 ~3/4, 디스크 대기는 ~5배.

사용·구성

  • Linux x86-64: 릴리스 tarball → ./janas-chat (모델 자동 다운로드·검증). Windows 10 1903+/11 동일. Win11에서도 Linux와 동등 성능.
  • 모델: janas-get으로 변환본 다운로드 또는 GGUF 직접 변환(HF prabanta-dev).
  • 부가: janas-server(OpenAI 호환 HTTP + VS Code 코드 완성), janas-mcp(MCP 클라이언트용 도구), janas-bench(머신 측정 리포트).

한계·미확인

  • GeekNews 본문·댓글 미확인(403). README 자칭 벤치마크를 원자료 대조 없이 옮김 — 측정 환경(단일 노트북, 2026-10-09~12) 한정.
  • macOS·ARM 지원 여부, 48GB 초과 모델(예: 1TB급)에서의 동작은 README 범위 밖.
  • 드래프트 수치는 텍스트 의존적(이탈리아어 산문에서 적중률 ~1/3).

유사 도구 비교

같은 문제(RAM보다 큰 MoE를 로컬에서 실행)를 푸는 볼트 내 엔진:

엔진방식Janas와의 차이
2026-07-12-justvugg-colibri순수 C, dense 상주 + 21,504 expert 디스크 스트리밍, 학습형 hot cache + prefetch가장 가까운 선행 사례. 대상이 744B GLM-5.2 단일 모델·370GB 저장공간이라 실용 문턱이 높고 속도는 0.05~1 tok/s대. Janas는 48GB급 실용 모델에서 24 tok/s로 throughput이 한 자릿수 위
2026-08-05-github-lyogavin-airllmPython, 레이어·expert 단위 디스크→GPU 스트리밍 (AutoModel.from_pretrained)범용 Transformers 호환·28k stars로 진입 장벽이 가장 낮음. Janas는 C 네이티브·양자화 커널 최적화로 속도 우선, AirLLM은 호환성 우선
2026-07-30-drumih-turbo-fieldfareSwift·Metal, Gemma 4 26B-A4B 전용, routed expert SSD 스트리밍 + LFU 캐시모델 특화·Apple Silicon 전용으로 8GB Air에서 ~2GB footprint 실행. Janas는 x86-64 Linux/Windows 범용, TurboFieldfare는 단일 모델·단일 플랫폼 깊이 최적화
2026-10-11-github-carloslfu-slotstreamSwift·MLX/Metal, Qwen3.8-Flash-Next 125B 전용, SSD expert 스트리밍 + RAM 캐시 + lookahead같은 expert streaming을 Apple Silicon·125B급에 적용. 1664GB 맥 타깃, 48GB M5 Pro 20.9123.69 tok/s(33GB 예산). Janas는 x86-64 범용·48GB급 실용 모델, slotstream은 단일 모델·단일 플랫폼 깊이 최적화
llama-cppC/C++, GGUF 양자화 상주 + GPU 오프로드, mmap 페이지 캐시범용 표준. 48GB 초과 모델에서는 repack 복사로 OOM → 우회 빌드 필요. Janas는 그 지점(메모리 초과 MoE)을 정면으로 설계
2026-03-23-exo-local-ai-clusterMac 여러 대 분산 연결로 122B 로컬 구동단일 머신 최적화(Janas)와 반대축 — 기기가 여러 대면 Exo, 한 대면 Janas 계열

볼트 밖 관련(미수집, 링크만): Edge0-AI/Edge0 — 35B MoE를 ~2.5GB RAM에서 SSD 스트리밍 + 학습형 prerouter로 한 층 먼저 예측 로드. colibri의 PILOT=1 실험 기능과 같은 방향.

관련 노트