2025 하반기~2026-10에 나온 한국어 지원 오픈 가중치 STT를 정리했다. 결론부터: 정확도는 Qwen3-ASR-1.7B, 속도·정확도 균형은 Fun-ASR-MLT-Nano, 회의록(화자 분리·장시간)은 VibeVoice-ASR, 실시간 스트리밍은 Voxtral Realtime·Nemotron 3.5가 후보다.

개요

이 노트는 “로컬에서 돌릴 수 있는 오픈 가중치 STT 중 한국어를 공식 지원하는 모델”을 모두 모아 한국어 정확도·라이선스·기능·맥 실행 가능 여부로 비교한다. TTS 쪽 짝 노트는 2026-07-25-local-open-tts-models다.

숫자를 볼 때 두 가지를 구분해야 한다.

  • 같은 조건 비교(Handy 표): Handy가 FLEURS 한국어 테스트셋, Q8_0 양자화, CER(글자 오류율, 낮을수록 좋음)로 17개 모델을 같은 하네스에서 쟀다. 모델끼리 순위를 매길 수 있는 유일한 근거다.
  • 자체 보고 수치: 각 벤더가 모델 카드·논문에 낸 숫자다. 데이터셋과 지표가 서로 달라 직접 비교하면 안 된다.

최근 공개 모델 (2025-09 이후)

공개일은 공식 발표·GitHub 기준이고, 없으면 Hugging Face 저장소 생성일이다. 둘은 며칠 차이가 날 수 있다.

모델공개일크기라이선스Handy CER자체 보고 한국어 수치핵심 기능
Qwen3-ASR-1.7B (Alibaba)2026-01-291.7BApache 2.04.60 (1위)Fleurs-ko CER 2.57, CommonVoice-ko 5.8830개 언어, 스트리밍·오프라인 통합, 언어 감지, vLLM
Qwen3-ASR-0.6B2026-01-290.6BApache 2.05.82Fleurs-ko CER 3.721.7B의 경량판, 4750U GPU 8배속
Qwen3-ForcedAligner-0.6B2026-01-290.6BApache 2.0—한국어 타이밍 오차 37~42ms전사문에 단어 타임스탬프(최대 5분)
Fun-ASR-MLT-Nano-2512 (FunAudioLLM)2025-12-150.8BApache 2.0(GitHub·HF 카드)5.20README에 한국어 행 없음31개 언어, CTC 타임스탬프, Handy “종합 추천”
Voxtral-Mini-4B-Realtime-2602 (Mistral)2026-024BApache 2.05.27Fleurs 한국어 15.74%(480ms 지연), 14.30%(2.4s) — WER/CER 미표기네이티브 스트리밍, 지연 80ms~2.4s 조절, 13개 언어
Cohere Transcribe (03-2026)2026-03-242BApache 2.0(게이트)6.57차트 이미지만14개 언어, 자동 청크 분할. 타임스탬프·화자 분리·언어 감지 없음
Nemotron 3.5 ASR Streaming (NVIDIA)2026-05-150.6BOpenMDW-1.18.89FLEURS CER 7.12~8.31(청크 크기별)캐시 인식 스트리밍, 80ms 청크
VibeVoice-ASR (Microsoft)2026-01-21~7B(8.7B)MIT—MLC 한국어 WER 9.65, DER 4.5260분 단일 패스, 화자 분리+타임스탬프, 핫워드
VibeVoice-ASR-BitNet2026-07-241.58GBMIT—MLC 한국어 WER 11.15(7B는 9.83)CPU 실시간, VibeASR.cpp GGUF
VibeVoice-ASR-Streaming 1.5B/7B2026-09-021.5B / 7BMIT—미확인(한국어는 지원 10개 언어에 포함)스트리밍 + 화자 귀속
Omnilingual ASR (Meta)2025-11-27300M~7BApache 2.0—미확인1,600개 이상 언어, 7B는 VRAM 약 17GiB
Dolphin (DataoceanAI·칭화대)2026-05-13(base)base 등Apache 2.0—미확인동양권 40개 언어
Raon-Speech-9B / A.X K2 Raon-Speech-21B (KRAFTON)2026-03-30 / 2026-07-299B / 21.2B(활성 3.5B)CC BY-NC 4.0—ASR 절대 수치 미공개(이미지·상대 점수)한·영 음성 LLM(STT·TTS·QA 통합)
Qwen3-Omni-30B-A3B (Alibaba)2025-09-2030B(활성 3B)Apache 2.0—한국어 ASR 수치 미확인옴니 모델, 음성 입력 19개 언어에 한국어 포함, 장시간 음성 인식
HyperCLOVA X SEED Omni 8B (NAVER)2025-12-238B자체 라이선스(상업 조건 미확인)—제3자(SKT) KsponSpeech CER 약 10.2옴니 모델의 음성→텍스트
BuzzASR/korean (Whisper 파인튜닝)2026-09-081.55BMIT—FLEURS CER 5.16, CV25 4.24large-v3 한국어 파인튜닝

기준선 (이전 세대)

모델공개크기라이선스Handy CER비고
Whisper large-v32023-111.55BApache 2.04.89여전히 2위권. whisper.cpp·MLX·ONNX 생태계가 가장 넓다
Whisper large-v3-turbo2024-10809MMIT5.24large-v3보다 빠르고 정확도 차이는 작다
ghost613/whisper-large-v3-turbo-korean2024-10809M미표기—Zeroth-Korean 테스트 CER 2.06(자체, 학습셋과 같은 분포)
SenseVoiceSmall (FunAudioLLM)2024-07경량FunASR Model License8.274750U GPU 32.5배속, Handy “속도 추천”, 감정·이벤트 감지
Moonshine tiny-ko / base-ko2025-09(신형 아님, 레거시 비스트리밍판)27M / 61M비상업(Moonshine Community License)9.00 / 8.12초경량 온디바이스. Handy 표의 MIT 표기는 공식 README와 다르다

Handy 같은 조건 순위 (FLEURS-ko, Q8_0, CER)

Qwen3-ASR-1.7B        4.60   ← 정확도 1위
whisper-large-v3      4.89
Fun-ASR-MLT-Nano      5.20   ← 정확도·속도 균형(GPU 9.0배속)
whisper-large-v3-turbo 5.24
Voxtral-4B-Realtime   5.27   ← 스트리밍 모델 중 최고, 대신 4.7GB·느림
Qwen3-ASR-0.6B        5.82
cohere-transcribe     6.57
moonshine-base-ko     8.12
SenseVoiceSmall       8.27   ← 속도 1위권(GPU 32.5배속)
nemotron-3.5-0.6b     8.89
moonshine-tiny-ko     9.00

속도는 AMD Ryzen 4750U(Vulkan GPU·CPU) 기준 실시간 대비 배수다. 날짜는 페이지에 없다.

목적별 추천

한국어 정확도 최우선 (받아쓰기·자막)   → Qwen3-ASR-1.7B
                                          (+ Qwen3-ForcedAligner로 단어 타임스탬프)
노트북·저사양에서 빠르고 정확하게      → Fun-ASR-MLT-Nano-2512 또는 Qwen3-ASR-0.6B
회의록 (화자 분리 + 1시간 녹음)        → VibeVoice-ASR (GPU) / VibeVoice-ASR-BitNet (CPU)
실시간 스트리밍 자막·음성 에이전트     → Voxtral-Mini-4B-Realtime (정확도)
                                          또는 Nemotron 3.5 ASR Streaming (가벼움)
생태계·도구 호환성 (whisper.cpp 등)    → Whisper large-v3-turbo
초경량·속도 최우선                     → SenseVoiceSmall
상업 이용 불가 모델                    → Raon-Speech, Moonshine-ko (연구·개인용만)

맥(Apple Silicon)에서 실행

로컬 맥 사용이면 MLX·GGUF 포트가 있는 모델이 쉽다.

모델MLXGGUF/llama.cpp 계열기타
Qwen3-ASRmlx-community/Qwen3-ASR-*-4bitggml-org/Qwen3-ASR-*-GGUFsherpa-onnx int8, 앱: Handy·vvrite
VibeVoice-ASRmlx-community/VibeVoice-ASR-*BitNet은 VibeASR.cppvLLM
Voxtral Realtime있음있음ONNX
Cohere Transcribe있음있음ONNX·CoreML
Nemotron 3.5있음—ONNX·CoreML
Fun-ASR-MLT-Nano있음llama.cpp—
Whispermlx-community/whisper-large-v3-turbowhisper.cppONNX·CoreML

Raon-Speech 21B는 BF16 체크포인트가 약 42GB라 일반 맥에서 돌리기 어렵다(2026-07-31-krafton-ax-k2-raon-speech).

제외·조건부 (한국어 공식 지원 없음)

모델제외 이유
NVIDIA Parakeet-TDT-0.6B-v3, Canary-1B-v2, Canary-Qwen-2.5B유럽 25개 언어, 한국어 없음
Voxtral Mini 3B / Small 24B (2507)8개 언어, 한국어 없음
Kyutai STT영어·프랑스어만
IBM Granite Speech 3.3~5.0영·프·독·스·포(4.x는 일본어 추가), 한국어 없음
Phi-4-multimodal한국어 미지원(Zeroth CER 99.16). 커뮤니티 PoC 파인튜닝만 있음
Fun-ASR-Nano-2512(기본판)README상 중·영·일만. HF의 ko 태그와 어긋남 → 한국어는 MLT판 사용
GLM-ASR-Nano, Kimi-Audio, Step-Audio-2-mini, MiMo-Audio중·영 중심, 한국어 미표기
Gemma 3n / Gemma 4다국어 ASR이라고만 하고 한국어는 명시 안 됨(직접 시험 필요)
SKT A.X K2 ALM한국어 KsponSpeech CER 9.00(자체)이지만 가중치 미공개(“coming soon”)
Voxtral Mini Transcribe V2, ByteDance Seed-ASRAPI 전용
Kakao Kanana-1.5-o, RTZR·ETRI·Upstage·LG공개 ASR 가중치 없음

주의할 점

  • 자체 보고 수치는 과대평가되기 쉽다. Qwen3-ASR의 Fleurs-ko CER 2.57(자체)과 Handy 측정 4.60은 같은 데이터셋인데도 차이가 난다. 양자화(Q8_0)·정규화 방식 차이일 수 있다.
  • FLEURS는 낭독체다. 회의·통화 같은 구어체는 KsponSpeech 같은 데이터에서 오류율이 더 높다. 실제 녹음으로 직접 확인하는 게 좋다.
  • 라이선스를 먼저 본다. Apache 2.0·MIT(Qwen3-ASR, Fun-ASR-MLT-Nano, VibeVoice, Voxtral, Cohere, Qwen3-Omni, Whisper)는 상업 이용이 자유롭다. 단 Handy 표는 Fun-ASR을 “FunASR Model License v1.1”로 적어 공식 저장소(Apache 2.0)와 다르니, 상용 배포 전에 받는 가중치의 LICENSE 파일을 확인한다. ^[raw/notes/2026-10-11-korean-stt-verification-addendum.md] Raon(CC BY-NC)·Moonshine-ko는 비상업, Nemotron(OpenMDW)·HyperCLOVA X는 조건을 따로 확인해야 한다.

관련 노트