2025 하반기~2026-10에 나온 한국어 지원 오픈 가중치 STT를 정리했다. 결론부터: 정확도는 Qwen3-ASR-1.7B, 속도·정확도 균형은 Fun-ASR-MLT-Nano, 회의록(화자 분리·장시간)은 VibeVoice-ASR, 실시간 스트리밍은 Voxtral Realtime·Nemotron 3.5가 후보다.
개요
이 노트는 “로컬에서 돌릴 수 있는 오픈 가중치 STT 중 한국어를 공식 지원하는 모델”을 모두 모아 한국어 정확도·라이선스·기능·맥 실행 가능 여부로 비교한다. TTS 쪽 짝 노트는 2026-07-25-local-open-tts-models다.
숫자를 볼 때 두 가지를 구분해야 한다.
- 같은 조건 비교(Handy 표): Handy가 FLEURS 한국어 테스트셋, Q8_0 양자화, CER(글자 오류율, 낮을수록 좋음)로 17개 모델을 같은 하네스에서 쟀다. 모델끼리 순위를 매길 수 있는 유일한 근거다.
- 자체 보고 수치: 각 벤더가 모델 카드·논문에 낸 숫자다. 데이터셋과 지표가 서로 달라 직접 비교하면 안 된다.
최근 공개 모델 (2025-09 이후)
공개일은 공식 발표·GitHub 기준이고, 없으면 Hugging Face 저장소 생성일이다. 둘은 며칠 차이가 날 수 있다.
| 모델 | 공개일 | 크기 | 라이선스 | Handy CER | 자체 보고 한국어 수치 | 핵심 기능 |
|---|---|---|---|---|---|---|
| Qwen3-ASR-1.7B (Alibaba) | 2026-01-29 | 1.7B | Apache 2.0 | 4.60 (1위) | Fleurs-ko CER 2.57, CommonVoice-ko 5.88 | 30개 언어, 스트리밍·오프라인 통합, 언어 감지, vLLM |
| Qwen3-ASR-0.6B | 2026-01-29 | 0.6B | Apache 2.0 | 5.82 | Fleurs-ko CER 3.72 | 1.7B의 경량판, 4750U GPU 8배속 |
| Qwen3-ForcedAligner-0.6B | 2026-01-29 | 0.6B | Apache 2.0 | — | 한국어 타이밍 오차 37~42ms | 전사문에 단어 타임스탬프(최대 5분) |
| Fun-ASR-MLT-Nano-2512 (FunAudioLLM) | 2025-12-15 | 0.8B | Apache 2.0(GitHub·HF 카드) | 5.20 | README에 한국어 행 없음 | 31개 언어, CTC 타임스탬프, Handy “종합 추천” |
| Voxtral-Mini-4B-Realtime-2602 (Mistral) | 2026-02 | 4B | Apache 2.0 | 5.27 | Fleurs 한국어 15.74%(480ms 지연), 14.30%(2.4s) — WER/CER 미표기 | 네이티브 스트리밍, 지연 80ms~2.4s 조절, 13개 언어 |
| Cohere Transcribe (03-2026) | 2026-03-24 | 2B | Apache 2.0(게이트) | 6.57 | 차트 이미지만 | 14개 언어, 자동 청크 분할. 타임스탬프·화자 분리·언어 감지 없음 |
| Nemotron 3.5 ASR Streaming (NVIDIA) | 2026-05-15 | 0.6B | OpenMDW-1.1 | 8.89 | FLEURS CER 7.12~8.31(청크 크기별) | 캐시 인식 스트리밍, 80ms 청크 |
| VibeVoice-ASR (Microsoft) | 2026-01-21 | ~7B(8.7B) | MIT | — | MLC 한국어 WER 9.65, DER 4.52 | 60분 단일 패스, 화자 분리+타임스탬프, 핫워드 |
| VibeVoice-ASR-BitNet | 2026-07-24 | 1.58GB | MIT | — | MLC 한국어 WER 11.15(7B는 9.83) | CPU 실시간, VibeASR.cpp GGUF |
| VibeVoice-ASR-Streaming 1.5B/7B | 2026-09-02 | 1.5B / 7B | MIT | — | 미확인(한국어는 지원 10개 언어에 포함) | 스트리밍 + 화자 귀속 |
| Omnilingual ASR (Meta) | 2025-11-27 | 300M~7B | Apache 2.0 | — | 미확인 | 1,600개 이상 언어, 7B는 VRAM 약 17GiB |
| Dolphin (DataoceanAI·칭화대) | 2026-05-13(base) | base 등 | Apache 2.0 | — | 미확인 | 동양권 40개 언어 |
| Raon-Speech-9B / A.X K2 Raon-Speech-21B (KRAFTON) | 2026-03-30 / 2026-07-29 | 9B / 21.2B(활성 3.5B) | CC BY-NC 4.0 | — | ASR 절대 수치 미공개(이미지·상대 점수) | 한·영 음성 LLM(STT·TTS·QA 통합) |
| Qwen3-Omni-30B-A3B (Alibaba) | 2025-09-20 | 30B(활성 3B) | Apache 2.0 | — | 한국어 ASR 수치 미확인 | 옴니 모델, 음성 입력 19개 언어에 한국어 포함, 장시간 음성 인식 |
| HyperCLOVA X SEED Omni 8B (NAVER) | 2025-12-23 | 8B | 자체 라이선스(상업 조건 미확인) | — | 제3자(SKT) KsponSpeech CER 약 10.2 | 옴니 모델의 음성→텍스트 |
| BuzzASR/korean (Whisper 파인튜닝) | 2026-09-08 | 1.55B | MIT | — | FLEURS CER 5.16, CV25 4.24 | large-v3 한국어 파인튜닝 |
기준선 (이전 세대)
| 모델 | 공개 | 크기 | 라이선스 | Handy CER | 비고 |
|---|---|---|---|---|---|
| Whisper large-v3 | 2023-11 | 1.55B | Apache 2.0 | 4.89 | 여전히 2위권. whisper.cpp·MLX·ONNX 생태계가 가장 넓다 |
| Whisper large-v3-turbo | 2024-10 | 809M | MIT | 5.24 | large-v3보다 빠르고 정확도 차이는 작다 |
| ghost613/whisper-large-v3-turbo-korean | 2024-10 | 809M | 미표기 | — | Zeroth-Korean 테스트 CER 2.06(자체, 학습셋과 같은 분포) |
| SenseVoiceSmall (FunAudioLLM) | 2024-07 | 경량 | FunASR Model License | 8.27 | 4750U GPU 32.5배속, Handy “속도 추천”, 감정·이벤트 감지 |
| Moonshine tiny-ko / base-ko | 2025-09(신형 아님, 레거시 비스트리밍판) | 27M / 61M | 비상업(Moonshine Community License) | 9.00 / 8.12 | 초경량 온디바이스. Handy 표의 MIT 표기는 공식 README와 다르다 |
Handy 같은 조건 순위 (FLEURS-ko, Q8_0, CER)
Qwen3-ASR-1.7B 4.60 ← 정확도 1위
whisper-large-v3 4.89
Fun-ASR-MLT-Nano 5.20 ← 정확도·속도 균형(GPU 9.0배속)
whisper-large-v3-turbo 5.24
Voxtral-4B-Realtime 5.27 ← 스트리밍 모델 중 최고, 대신 4.7GB·느림
Qwen3-ASR-0.6B 5.82
cohere-transcribe 6.57
moonshine-base-ko 8.12
SenseVoiceSmall 8.27 ← 속도 1위권(GPU 32.5배속)
nemotron-3.5-0.6b 8.89
moonshine-tiny-ko 9.00
속도는 AMD Ryzen 4750U(Vulkan GPU·CPU) 기준 실시간 대비 배수다. 날짜는 페이지에 없다.
목적별 추천
한국어 정확도 최우선 (받아쓰기·자막) → Qwen3-ASR-1.7B
(+ Qwen3-ForcedAligner로 단어 타임스탬프)
노트북·저사양에서 빠르고 정확하게 → Fun-ASR-MLT-Nano-2512 또는 Qwen3-ASR-0.6B
회의록 (화자 분리 + 1시간 녹음) → VibeVoice-ASR (GPU) / VibeVoice-ASR-BitNet (CPU)
실시간 스트리밍 자막·음성 에이전트 → Voxtral-Mini-4B-Realtime (정확도)
또는 Nemotron 3.5 ASR Streaming (가벼움)
생태계·도구 호환성 (whisper.cpp 등) → Whisper large-v3-turbo
초경량·속도 최우선 → SenseVoiceSmall
상업 이용 불가 모델 → Raon-Speech, Moonshine-ko (연구·개인용만)
맥(Apple Silicon)에서 실행
로컬 맥 사용이면 MLX·GGUF 포트가 있는 모델이 쉽다.
| 모델 | MLX | GGUF/llama.cpp 계열 | 기타 |
|---|---|---|---|
| Qwen3-ASR | mlx-community/Qwen3-ASR-*-4bit | ggml-org/Qwen3-ASR-*-GGUF | sherpa-onnx int8, 앱: Handy·vvrite |
| VibeVoice-ASR | mlx-community/VibeVoice-ASR-* | BitNet은 VibeASR.cpp | vLLM |
| Voxtral Realtime | 있음 | 있음 | ONNX |
| Cohere Transcribe | 있음 | 있음 | ONNX·CoreML |
| Nemotron 3.5 | 있음 | — | ONNX·CoreML |
| Fun-ASR-MLT-Nano | 있음 | llama.cpp | — |
| Whisper | mlx-community/whisper-large-v3-turbo | whisper.cpp | ONNX·CoreML |
Raon-Speech 21B는 BF16 체크포인트가 약 42GB라 일반 맥에서 돌리기 어렵다(2026-07-31-krafton-ax-k2-raon-speech).
제외·조건부 (한국어 공식 지원 없음)
| 모델 | 제외 이유 |
|---|---|
| NVIDIA Parakeet-TDT-0.6B-v3, Canary-1B-v2, Canary-Qwen-2.5B | 유럽 25개 언어, 한국어 없음 |
| Voxtral Mini 3B / Small 24B (2507) | 8개 언어, 한국어 없음 |
| Kyutai STT | 영어·프랑스어만 |
| IBM Granite Speech 3.3~5.0 | 영·프·독·스·포(4.x는 일본어 추가), 한국어 없음 |
| Phi-4-multimodal | 한국어 미지원(Zeroth CER 99.16). 커뮤니티 PoC 파인튜닝만 있음 |
| Fun-ASR-Nano-2512(기본판) | README상 중·영·일만. HF의 ko 태그와 어긋남 → 한국어는 MLT판 사용 |
| GLM-ASR-Nano, Kimi-Audio, Step-Audio-2-mini, MiMo-Audio | 중·영 중심, 한국어 미표기 |
| Gemma 3n / Gemma 4 | 다국어 ASR이라고만 하고 한국어는 명시 안 됨(직접 시험 필요) |
| SKT A.X K2 ALM | 한국어 KsponSpeech CER 9.00(자체)이지만 가중치 미공개(“coming soon”) |
| Voxtral Mini Transcribe V2, ByteDance Seed-ASR | API 전용 |
| Kakao Kanana-1.5-o, RTZR·ETRI·Upstage·LG | 공개 ASR 가중치 없음 |
주의할 점
- 자체 보고 수치는 과대평가되기 쉽다. Qwen3-ASR의 Fleurs-ko CER 2.57(자체)과 Handy 측정 4.60은 같은 데이터셋인데도 차이가 난다. 양자화(Q8_0)·정규화 방식 차이일 수 있다.
- FLEURS는 낭독체다. 회의·통화 같은 구어체는 KsponSpeech 같은 데이터에서 오류율이 더 높다. 실제 녹음으로 직접 확인하는 게 좋다.
- 라이선스를 먼저 본다. Apache 2.0·MIT(Qwen3-ASR, Fun-ASR-MLT-Nano, VibeVoice, Voxtral, Cohere, Qwen3-Omni, Whisper)는 상업 이용이 자유롭다. 단 Handy 표는 Fun-ASR을 “FunASR Model License v1.1”로 적어 공식 저장소(Apache 2.0)와 다르니, 상용 배포 전에 받는 가중치의 LICENSE 파일을 확인한다. ^[raw/notes/2026-10-11-korean-stt-verification-addendum.md] Raon(CC BY-NC)·Moonshine-ko는 비상업, Nemotron(OpenMDW)·HyperCLOVA X는 조건을 따로 확인해야 한다.
관련 노트
- moc-multimedia — 음성 인식·음성 입력 앱 노트 모음
- 2026-08-08-wispr-flow-vs-handy-korean-stt — Handy에서 Qwen3-ASR 1.7B를 쓰는 받아쓰기 앱 비교
- 2026-04-04-vvrite-on-device-voice-typing — Qwen3-ASR 온디바이스 음성 타이핑 앱
- 2026-07-11-vibevoice-microsoft-asr-tts — VibeVoice ASR·TTS 모델군
- 2026-07-31-krafton-ax-k2-raon-speech — KRAFTON 한·영 음성 LLM
- 2026-04-04-apple-speech-api-whisper-alternative — 모델 설치 없이 쓰는 Apple SpeechAnalyzer
- 2026-05-27-whisper-diarization — Whisper + NeMo 화자 분리
- 2026-07-25-local-open-tts-models — 짝 노트: 로컬 오픈소스 TTS 비교