개요
@h2smusic이 Threads에서 “125B는 서버에서만 돌린다는 상식이 깨지는 중”이라며 소개한 오픈소스 프로젝트 Strata(Niko1221/Strata)다. Qwen3.8-Flash-Next(약 125B MoE)를 12GB 이상 VRAM의 일반 게이밍 PC에서 돌린다. 핵심은 모델을 GPU VRAM, 시스템 RAM, SSD에 나눠 올리고, 토큰마다 필요한 expert만 꺼내 쓰는 방식이다. OpenAI·Anthropic 호환 API를 localhost에 열어 주므로 Claude Code나 Codex CLI를 로컬 서버에 붙일 수 있다. local-llm 흐름에서 “큰 모델을 작은 장비로” 쪽의 최신 사례다.
2026-10-11 재확인: 2026-10-04 이후 일주일 사이 릴리스가 8번 나와 v0.1.42가 됐고, Stars는 약 9,500에서 약 20,900으로 두 배 넘게 늘었다(forks 1,955, 열린 이슈 647). 아래 내용은 v0.1.42 README 기준이다.
2026-10-18 재확인 (GeekNews 34761): GeekNews 글 “Qwen 3.8 Flash Next(125B)를 일반 PC에서 초당 100토큰으로 실행하기”(topic 34761)는 Defuddle 직접 추출 403이라 본문 미수집 — 제목의 “초당 100토큰”은 RTX 3090 24GB 예상치(100~140 tok/s)에 해당. GitHub README를 Defuddle
--md로 재추출: v0.1.45(2026-10-17 릴리스), stars 26,995(forks 2,841·열린 이슈 421). v0.1.42→3개 릴리스, stars +6,000.v0.1.45 신규: (1) Unsloth UD-Q4_K_XL·UD-Q5_K_XL·UD-Q6_K_XL·Q8_0 라인업 — Q8_0 대비 다음 토큰 일치율 93
95%, 단 전 expert RAM 상주 시에만 빠름(UD-Q4_K_XL10%, 출력 미세 변화) +88GB ~ Q8_05%, 코드·긴 문서 +7136GB, 64GB PC에서 UD-Q4_K_XL 78.5 tok/s). (2) 단일 GPU + 전 expert RAM 상주 시 opt-in 최적화 —"--adapt-async", "1"(decode +4"STRATA_PIN_BY_NEED": "1"(Windows 프롬프트 읽기 +4.4%).
성능 (README 실측)
| 환경 | 크기 | 생성 속도 | 프롬프트 읽기(32K) |
|---|---|---|---|
| RTX 5070 12GB · Ryzen 5 7600 · RAM 64GB | Q2_0 | 94 tok/s | 2,650 tok/s |
| 〃 | IQ2_XS | 79 tok/s | 2,090 tok/s |
| 〃 | IQ3_XXS | 62 tok/s | 1,750 tok/s |
| 〃 | IQ3_S | 53 tok/s | 1,620 tok/s |
| 〃 | Coder | 55 tok/s | 2,180 tok/s |
| RX 9070 XT 16GB · Ryzen 9 3900X · RAM 47GB | Q2_0 | 60 tok/s | 1,160 tok/s |
| 〃 | IQ2_XS | 52 tok/s | 1,110 tok/s |
| 〃 | Coder | 44 tok/s | 1,420 tok/s |
NVIDIA 표의 Q2_0은 엔진 0.1.36, 나머지 행은 0.1.26으로 잰 값이다(답 4K·프롬프트 32K). 게시물의 “최대 약 90 tokens/s”는 Q2_0 값(94 tok/s)에 해당한다. VRAM이 클수록 빠르며, README는 RTX 3090(24GB)에서 약 100–140 tok/s를 예상한다. RTX 4070·5060 Ti·RX 9060 XT·RX 9070·Tesla P40 2장 등 사용자 측정 결과도 저장소에 계속 쌓이고 있다.
어떻게 맞추나
- 모델은 expert 24,576개로 이뤄져 있고, 단어마다 그중 10개만 쓴다. 자주 쓰는 수천 개는 GPU, 전체는 RAM에 두고, CPU가 나머지를 동시에 계산하며, SSD에는 큰 조회 테이블을 둔다.
- 작은 보조 모델이 다음 단어를 추측하고 큰 모델이 한꺼번에 검증하는 추측 디코딩으로 1.6–1.8배 빨라진다(답은 같다).
- 긴 입력은 8,192토큰 단위로 읽는다. 첫 메시지는 30,000토큰당 약 1분이 걸리고, 후속 메시지는 몇 초 안에 시작한다.
- 저장소에 설계 논문(
docs/paper/Strata-Paper.pdf)도 있다.
0.1.42의 새 기본값: 비중 작은 expert 건너뛰기
0.1.42부터 CUDA 빌드는 STRATA_ROUTE_TAIL_SKIP=7이 기본으로 켜진다. 검증 구간의 모든 토큰이 상위 10개 중 7위 이하(가중치가 가장 작은 쪽)로만 고른 expert가 VRAM에 없으면, PCIe로 가져오지도 CPU로 계산하지도 않고 0으로 친다.
- 속도: 단일 GPU에서 생성 속도가 약 1.13~1.16배 빨라진다(RTX 3060·RTX A4000·Tesla P100). expert를 거의 다 VRAM에 올린 GPU 2장 구성에서는 이득이 없다. 프롬프트 읽기에는 영향이 없다.
- 대가: 답이 0.1.41과 조금 달라진다. 다음 토큰 1순위가 같은 비율은 97.5
98.2%다. 영향은 고르지 않아서 코드·추론 프롬프트는 KL 0.0020.004, 대화와 영어가 아닌 프롬프트는 0.004~0.009로 더 크다. HumanEval 등 과제 점수에서는 차이가 잡음 수준이었다. - 끄기:
STRATA_ROUTE_TAIL_SKIP=0이면 예전 출력과 바이트 단위로 같아진다. 한국어 품질이 신경 쓰이면 끄고 비교해 볼 만하다. - 배치·병렬 처리, AMD(HIP)·Intel(SYCL) 빌드에서는 적용되지 않는다.
요구 사양
| 항목 | 내용 |
|---|---|
| GPU | NVIDIA RTX 20~50 시리즈, 또는 AMD RX 7900 XT/XTX·7800 XT/7700 XT·9060 XT·9070/9070 XT·Radeon AI PRO R9700·RX 6800/6900 계열. VRAM 12GB 이상 |
| RAM | 32GB 이상. RAM이 고를 수 있는 모델을 정한다(64GB면 모든 크기) |
| 디스크 | 약 80GB, SSD 권장 |
| OS | Windows 10/11 또는 Linux(README 요구 사양에 macOS는 없음) |
- GPU 2~3장에 모델을 나눠 올릴 수 있다.
- 실험적 지원(커뮤니티가 자기 장비로 작성·테스트): Tesla P40/V100·GTX 10·Radeon VII/MI50 같은 구형 GPU, Linux 소스 빌드로 Intel Arc와 AMD Ryzen AI Max(Strix Halo), AVX2 없는 구형 CPU(느림).
어떤 모델을 고를까
| RAM | 권장 | 이유 |
|---|---|---|
| 32GB | Coder | 32GB에 들어가는 코딩용(24GB GPU면 Q2_0·IQ2_XS도 가능) |
| 48GB | IQ2_XS (가장 빠른 건 Q2_0) | 더 큰 크기는 안 들어감 |
| 64GB | IQ2_XS 권장, 또는 IQ3_XXS·IQ3_S | 모든 크기가 들어감. IQ3_S가 가장 좋고 가장 느림 |
| 96GB 이상 | IQ3_S 또는 Unsloth UD-IQ4_XS | 다른 프로그램을 띄워 둔 채 가장 큰 크기 |
- Coder: expert를 절반 덜어낸 코딩용이다. 저자 측정으로 SWE-bench Verified에서 원본의 91%를 낸다. 대신 코드 밖 작업과 중국어 등 CJK 텍스트에 약하다(#438). 한국어로 많이 쓸 거라면 모든 expert를 유지한 Q2_0·IQ2_XS·IQ3_S를 고른다.
- Swift 1.5(새로 추가): UkisAI의 파인튜닝판으로, 생각하는 시간을 크게 줄여 같은 품질의 답을 더 빨리 낸다. 토큰당 속도와 RAM은 같은 크기의 원본과 같다. 자체 라이선스가 따로 있다.
- Unsloth UD-IQ4_XS(0.1.39부터 정식 선택지): 약 4비트, 다운로드 94GB. 품질은 IQ3_S와 UD-Q4_K_XL 사이다. RAM이 약 80GB보다 적으면 일부를 SSD에서 읽어서 느려진다(NVMe 권장).
- Unsloth UD-Q4_K_XL(실험적): 원본에 가장 가깝지만 대부분을 SSD에서 읽어, RAM 64GB PC에서 7~8.5 tok/s밖에 안 나온다.
- OrcaRouter의 검열 해제판 IQ3_XXS는 수동 설정으로만 쓸 수 있다.
설치와 사용
- 설치: Windows는
START-HERE.bat, Linux는./setup.sh. 모델·크기·컨텍스트·이미지 입력 여부를 묻고(Enter면 권장값), 모델 약 70GB를 받는다. 중간에 끊겨도 다시 실행하면 이어 받는다. 업데이트는UPDATE.bat(./update.sh)이고, Docker로도 설치할 수 있다. - AI에게 맡기기: Claude Code·Cursor·Codex 등에 “docs/AI_SETUP.md를 따라 Strata를 설치해 줘”라고 붙여 넣으면 사양을 보고 모델을 골라 설치한다. 설치·시작·중지용 MCP 서버도 있다.
- 브라우저 앱:
http://127.0.0.1:8080에 채팅, 모델·GPU·CPU·RAM 실시간 Monitor, 설정 화면이 있다. - API 연결: OpenAI 호환
http://127.0.0.1:8080/v1(API 키·모델명은 아무거나), Anthropic 호환/v1/messages(Claude Code는ANTHROPIC_BASE_URL=http://127.0.0.1:8080), OpenAI Responses API/v1/responses(Codex CLI). - 추론 강도: off·low·medium·high 중에서 고른다. off가 가장 빠르다.
- 이미지 입력: 설치 때 “Images?”에 예라고 답하면 된다. AMD는 Linux에서 CPU로 처리하고, Windows에서는 아직 안 된다.
- 폰·다른 PC에서 접속:
START-HERE.bat --setup --host 0.0.0.0 --api-key <비밀값>. README는 키를 반드시 설정하라고 한다. - 동시 요청: 기본은 한 번에 하나다.
"parallel": 2로 여러 개를 받을 수 있지만, 12GB GPU에서는 답마다 느려진다.
주의
- 첫 기동 때 35–55GB를 RAM에 올리고 일부를 GPU용으로 고정하느라 PC가 1–3분 멈출 수 있다. 10분이 넘도록 안 풀리면 재부팅하고 다른 프로그램을 닫거나 더 작은 크기를 고른다.
- 디스크 표시등이 계속 깜빡이며 느리거나 “engine stopped unexpectedly”가 뜨면 RAM이 부족한 것이다. 브라우저 같은 프로그램을 닫거나 Q2_0·IQ2_XS로 내린다.
- 저장소는 2026-09-24 생성, MIT·C++이다. llama.cpp/ggml 일부를 쓰고, 모델 압축은 ISTA-DASLab(GSQ-RCO GGUF)·UkisAI·Unsloth가 했다. 모델마다 라이선스가 따로 있다(Qwen3.8-Flash-Next는 Qwen Community License 1.0).
- 속도 수치는 모두 README의 자체 측정이다. 개발 속도가 매우 빨라서(하루에 릴리스 여러 번) 이 노트의 세부 사항도 금방 낡을 수 있다.
관련 위키
- 2026-10-11-huggingface-qwen-qwen3-8-flash-next — Strata가 돌리는 모델 Qwen3.8-Flash-Next의 사양·라이선스와 다른 로컬 실행 경로
- 2026-10-11-github-carloslfu-slotstream — 같은 모델의 맥(Apple Silicon) 버전 엔진
- local-llm — 로컬 LLM 개요
- qwen — Qwen 모델 계열
- 2026-09-10-threads-qwen3-8-27b-local-pi — Qwen3.8 27B 로컬 운용 사례
- 2026-07-17-pytorchkr-local-llm-gpu-hardware-guide — 로컬 LLM GPU 하드웨어 가이드
- 2026-10-02-magnitude-dev-inference-engine — 기기에서 커널을 직접 튜닝해 llama.cpp보다 빠르다고 주장하는 로컬 추론 엔진