원문 Qwen/Qwen3.8-Flash-Next 모델 카드 HF 메타(2026-10-11 확인): 2026-08-24 공개, 다운로드 약 180만, Qwen Community License 1.0.
한 줄 요약
“Qwen Flash”라는 이름의 모델 중 가중치가 공개돼 로컬로 돌릴 수 있는 건 이것 하나다. Qwen3.5-Flash·3.7-Flash는 Hugging Face에 Qwen 공식 가중치가 없고, 공식 API의 Qwen3.8-Flash가 바로 이 모델에 기본 1M 컨텍스트와 내장 도구를 더한 서비스판이다. 모델 카드는 이 모델을 Qwen4가 쓸 아키텍처의 실험적 미리보기라고 소개한다.
TTS 쪽 Qwen3-TTS-Flash도 API 전용이다. 로컬 대안은 2026-10-10-github-qwenlm-qwen3-tts다.
사양
| 항목 | 값 |
|---|---|
| 파라미터 | 125B, 토큰당 활성 6B + n-gram 임베딩 51B + MTP 4B (safetensors 합계 약 180B) |
| 구조 | 48층, 12 × (Gated DeltaNet→MoE 3번 + Qwen Sparse Attention→MoE 1번) |
| MoE | 전문가 512개 중 10개 + 공유 1개 활성 |
| 컨텍스트 | 262K 기본, YaRN으로 최대 1M |
| 입력 | 텍스트 + 이미지·영상(비전 인코더 포함) |
| 추론 모드 | 기본으로 thinking 켜짐. enable_thinking·preserve_thinking·reasoning_effort로 조절 |
새로 들어간 구조는 네 가지다.
- QSA(Qwen Sparse Attention): 토큰 하나하나가 아니라 작은 블록 단위로 볼 곳을 골라, 긴 문맥 지연을 줄인다.
- Gated Residual: 넓힌 잔차 흐름에 게이트를 달아 층 사이 표현력을 높인다.
- N-gram 임베딩: 토큰 2~3개짜리 조합(bigram·trigram) 2,000만 개를 2층에서 조회한다. MoE보다 연산이 적고 메모리 밖으로 빼 두기(offload) 쉬워서, 메모리가 작은 장비에서 파라미터를 늘리는 수단으로 쓴다.
- MTP 헤드: 다음 토큰을 미리 추측하는 1층짜리 헤드로, 추측 디코딩에 쓴다.
벤치마크 (Qwen 자체 측정)
| 벤치마크 | Flash-Next (활성 6B) | Qwen3.8-27B | Qwen3.7-Plus (397B) | DeepSeek-V4-Flash | Claude Opus 4.6 (Max) |
|---|---|---|---|---|---|
| SWE-bench Pro | 62.5 | 61.7 | 55.8 | 56.0 | 53.4 |
| SWE-bench Multilingual | 81.0 | 73.8 | 75.8 | — | 77.5 |
| Toolathlon Verified | 73.5 | 67.1 | 50.6 | 70.3 | — |
| GPQA Diamond | 91.7 | 89.2 | 90.3 | 90.8 | 91.3 |
| HLE | 35.9 | 30.8 | 34.7 | 33.8 | 40.0 |
| LiveCodeBench v6 | 91.9 | 90.3 | 89.6 | 90.6 | 88.8 |
활성 6B로 자기 회사의 397B 모델과 27B 밀집 모델을 대부분 항목에서 앞선다고 보고한다. SWE-bench Pro는 Claude Code 하네스로 쟀고, Opus 4.6만 공식 발표값을 옮겼다. 코딩 벤치마크 일부는 문제 있는 과제를 고친 뒤 기준 모델을 다시 돌린 값이라, 다른 곳의 수치와 바로 비교하기 어렵다.
라이선스: Apache가 아니다
Qwen Community License 1.0은 기본적으로 사용·수정·재배포·판매·파인튜닝을 허용하되 조건이 두 개 붙는다.
- 아주 큰 서비스는 모델명 표시: 월 활성 사용자 1억 명 또는 월 매출 2,000만 달러를 넘는 상업 제품·서비스에 쓰면, 화면에 모델 이름을 눈에 띄게 표시해야 한다.
- MaaS·AI 업무 도우미 사업은 별도 라이선스: 자사나 계열사가 “Model as a Service”(제3자가 API 등으로 추론·파인튜닝을 직접 제어하는 서비스)나 “AI Work Assistant”(코딩·사무 생산성이 주목적인 독립 AI 제품, 예: Qoder·QwenWork) 사업을 한다면, 상업 목적으로 쓰기 전에 Qwen에서 별도 라이선스를 받아야 한다. 다만 결과물을 제3자에게 내놓지 않는 사내 사용은 예외다. 번역 같은 단일 목적 도구나 코딩·사무가 주목적이 아닌 제품 속 기능도 해당하지 않는다.
개인이 로컬에서 코딩 에이전트에 붙여 쓰는 건 제약이 없다. 이 모델로 코딩 도우미 SaaS를 만들어 팔려면 별도 계약이 필요하다.
로컬 실행 경로 (2026-10-11 확인)
| 실행기 | 상태 | 메모 |
|---|---|---|
| llama.cpp | 공식 저장소에 지원 포함(아키텍처명 qwen4exp) | 2026-10-01~03에 수정·MTP·메모리 절감 커밋이 이어짐. MTP 초안 헤드를 쓰는 추측 디코딩 PR 27836은 아직 열림 |
| Unsloth GGUF + Unsloth Desktop | 바로 사용 | 모델 카드가 llama.cpp 또는 Unsloth Desktop을 안내. 크기: IQ1_M 74.5GB · Q2_K_XL 78.9GB · Q4_K_XL 111GB · Q8_0 188GB(+ MTP 4.1GB, 비전 0.9GB) |
| Strata | 바로 사용(MIT) | 12GB 이상 GPU + RAM 32~64GB 게이밍 PC용. 전문가를 GPU·RAM·SSD에 나눠 올림. RTX 5070에서 Q2 94 tok/s(자체 측정) |
| slotstream | 바로 사용(MIT) | 메모리 16~64GB 맥용. MLX 4bit(약 105GB)를 SSD에 두고 expert를 읽어 옴. 64GB M4 Max 15.93 tok/s, 외장 SSD면 2.98 tok/s(사용자 보고) |
| MLX | 커뮤니티 변환본 | mlx-community/Qwen3.8-Flash-Next-4bit, -4bit-mtp, -oQ6e-mtp |
| vLLM·SGLang·KTransformers·TokenSpeed | 공식 권장 | 처리량이 중요한 운영 환경용. OpenAI 호환 서버로 띄움 |
| NVIDIA NVFP4 | nvidia/Qwen3.8-Flash-Next-NVFP4 | NVIDIA가 올린 FP4 양자화판 |
| Ollama | 없음 | qwen3.8 라이브러리엔 27B만 있고, Flash-Next 추가 요청(#18071)이 2026-08-27부터 열림 |
내 장비에 맞는 선택
RAM(통합 메모리) 80GB 이상 PC·맥 → llama.cpp 또는 Unsloth Desktop + Unsloth GGUF
(IQ1_M·Q2_K_XL은 약 75~79GB, Q4는 111GB)
12~16GB GPU 게이밍 PC + RAM 64GB → Strata
맥 16~64GB(모델은 내장 SSD에) → slotstream
맥 128GB → MLX 4bit 또는 llama.cpp(Metal)
GPU 서버 → vLLM·SGLang (공식 권장)
메모리가 부족하다 → 같은 세대 밀집 모델 Qwen3.8-27B (Ollama에 있음)
- MLX 4bit 용량: slotstream이 쓰는
pipenetwork/Qwen3.8-Flash-Next-MLX-4bit는 디스크 103.8GB다(bf16 원본 360GB, MTP 헤드 제외). 메모리에 통째로 올리려면 128GB 맥급이 필요하고, 그보다 작은 맥은 slotstream처럼 SSD에서 읽어 오는 방식을 쓴다. 이 빌드의 README는qwen4_exp가 아직 공식 mlx-lm 릴리스에 없어(PR #1788 미머지) 자체 런타임 파일을 함께 싣는다고 밝힌다. - Strata를 RAM 32GB로 돌리려면 전문가를 절반 덜어낸 Coder 변형을 써야 하는데, 한국어 같은 CJK 텍스트에 약하다고 Strata README가 밝힌다.
사용 후기 (Threads)
@james.kim83이 2026-09-25 Threads에 남긴 사용 후기다(두 글 중 첫 글만 수집, 작성자 체감).
- 장비·속도: RTX 6000 Pro(서버급 GPU)에서 안정적으로 돌고 초당 100토큰이 넘는다.
- 기능: 음성 인식을 포함한 멀티모달이 다 된다.
- 체감 성능: Sonnet 4.5 정도. 바이브 코딩이 아니라면 차고 넘친다고 한다. 실무에선 환각만 없어도 고마운데, 그 이상인 DeepSeek Flash API 수준이라는 평가다.
- 용도: 작성자가 직접 만든 회사 자동화 도구의 AI 어시스턴트로 쓰고 있고, “그냥 완벽하다”고 적었다.
관련 페이지
- 2026-09-29-threads-strata-125b-consumer-gpu — 이 모델을 12GB GPU 게이밍 PC에서 돌리는 엔진
- 2026-10-11-github-carloslfu-slotstream — 이 모델을 메모리 16~64GB 맥에서 SSD 스트리밍으로 돌리는 엔진
- 2026-10-27-x-cohere-qwen3-8-flash-next-sandbox-probe — Cohere 평가에서 이 모델이 샌드박스 밖 업로드를 시도한 사건(원인 미확인)
- 2026-09-10-threads-qwen3-8-27b-local-pi — 같은 세대 Qwen3.8-27B를 로컬 기본 모델로 쓰는 구성
- qwen — Qwen 모델 계열
- local-llm — 로컬 LLM 개요
- llama-cpp — llama.cpp
- moc-ai-models · moc-chinese-llm-models