개요

Strata는 원래 서버급 장비가 필요한 qwen의 대형 MoE 모델 Qwen3.8-Flash-Next(README 기준 125B 파라미터)를 VRAM 12GB 이상의 NVIDIA·AMD 게이밍 PC에서 돌리는 오픈소스 추론 엔진이다. C++로 작성되었고 MIT 라이선스이며, llama-cpp/ggml의 일부를 가져다 쓴다. 설치는 START-HERE.bat(Windows)이나 ./setup.sh(Linux) 한 번이면 끝나고, 로컬에 OpenAI·Anthropic 호환 API를 연다. 모든 수치는 README의 저자 측정값이며 독립 검증은 확인하지 못했다.

핵심 아이디어: PC 전체로 일을 나눈다

모델은 24,576개의 작은 전문가(expert)로 이뤄져 있고, 토큰 하나를 만들 때는 10개만 쓴다. 그래서 전부를 GPU에 올릴 필요가 없다.

자원맡는 일
GPU(VRAM)모든 토큰에 필요한 어텐션 등 공통 연산, 자주 호출되는 전문가 캐시(대화 중 계속 갱신). VRAM 1GB당 약 700개 전문가를 더 담는다
RAM전문가 24,576개 전부 상주. GPU에 없는 전문가는 CPU가 제자리에서 계산하고, GPU와 동시에 진행
SSD28.8GB짜리 n-gram 조회 테이블. 토큰당 몇 행만 읽음
  • 문서의 결론은 GPU 속도보다 VRAM 용량이 더 중요하다는 것이다. GPU에 올라간 전문가가 하나 늘 때마다 CPU가 계산할 몫이 하나 준다.
  • 추측 후 검증(speculative decoding): 모델에 내장된 MTP 레이어가 최대 3토큰을 초안으로 쓰고, 큰 모델이 한 번에 검증한다. 출력은 같고 속도만 1.6~1.8배 빨라진다고 한다. 코드 수정처럼 문맥을 반복하는 응답에는 prompt lookup을 추가로 쓴다.
  • 긴 입력 처리: 최대 8,192토큰 단위로 읽어 초당 1,000토큰 이상. 첫 메시지는 30,000토큰당 약 1분이 걸리고, 이후 후속 질문은 새 부분만 읽어 몇 초 만에 시작한다.

성능(README 측정)

환경크기응답 속도프롬프트 읽기
RTX 5070 12GB, 64GB RAMQ2_093 tok/s2,170 tok/s
〃IQ3_S(최고 품질)53 tok/s1,620 tok/s
〃Coder55 tok/s2,180 tok/s
RX 9070 XT 16GB, 47GB RAMQ2_060 tok/s1,160 tok/s
〃Coder44 tok/s1,420 tok/s

RTX 3090(24GB)은 100~140 tok/s로 추정한다고 적혀 있다(실측 아님).

모델 선택

설치기가 RAM에 맞춰 추천하며, 같은 모델을 더 또는 덜 압축한 크기를 제공한다.

  • 32GB: Coder(전문가 절반을 제거한 코딩 특화판, 저자 주장으로 SWE-bench Verified 점수의 91%. 코딩 외에는 약함)
  • 48GB: IQ2_XS 또는 가장 빠른 Q2_0
  • 64GB: IQ2_XS 권장, IQ3_XXS·IQ3_S도 가능(IQ3_S가 가장 똑똑하고 가장 느림)
  • 96GB 이상: IQ3_S 또는 Unsloth 4비트(실험적, SSD 의존으로 7~8.5 tok/s)
  • Swift 1.5: 추론 구간을 짧게 줄인 파인튜닝판

필요 사양은 GPU VRAM 12GB 이상(RTX 20~50, Radeon RX 7000/9000 등), RAM 32GB 이상, 디스크 약 80GB다. 모델 다운로드만 약 70GB다.

사용

  • 브라우저(127.0.0.1:8080)에서 Chat과 GPU·CPU·RAM 실시간 Monitor를 쓸 수 있다.
  • 외부 앱은 http://127.0.0.1:8080/v1(OpenAI 호환)이나 /v1/messages(Anthropic 호환)에 연결한다. Claude Code는 ANTHROPIC_BASE_URL=http://127.0.0.1:8080로 붙인다.
  • 추론 강도(off~high) 선택, 이미지 입력(옵션), MCP 서버를 통한 AI 도구의 설치·시작·중지 제어를 지원한다.
  • 제약: 한 번에 요청 하나만 처리한다. 모델을 올리는 13분 동안 PC가 심하게 느려지거나 멈춘 것처럼 보인다(RAM 3555GB를 고정하기 때문).
  • docs/AI_SETUP.md가 있어, 코딩 에이전트에 저장소 링크를 주면 사양 확인부터 모델 선택·설치까지 대신 해 준다.

메모

  • 저장소 메타(2026-10-19 기준): 별 134개, 생성 2026-10-02, 마지막 push 2026-10-02. 신생 프로젝트다.
  • 현재 저장소는 mach10x/strata로 열리지만 README의 링크는 Niko1221/Strata를 가리킨다. 이전·이름 변경으로 보이며 원인은 확인하지 못했다.
  • 모델 출처는 Qwen 팀(원본), ISTA-DASLab(압축), UkisAI(Swift), Unsloth(UD-Q4)이고, 아이디어는 Splash·ninfer·HyperQwen에서 가져왔다고 밝힌다.
  • 같은 모델에 대한 사용자 반응: 2026-09-21-threads-like-sky-17-local-llm-comparison은 Flash Next가 “들쭉날쭉”하다고 평가했다. 이 엔진의 극단적 양자화(Q2~IQ3)가 품질에 어떤 영향을 주는지는 README만으로는 알 수 없다.

관련