Qwen-Audio-3.0-TTS는 다운로드 불가능한 호스팅 모델이라, 로컬 무료 사용이 필요하면 아래 오픈소스 TTS로 대체한다.
개요
2026-07-24-qwen-audio-3-0-tts는 Alibaba Cloud Model Studio를 통해서만 제공되는 호스팅 TTS다. 오픈 웨이트가 아니라서 로컬에서 무료로는 실행할 수 없다. 이 노트는 로컬에서 돌릴 수 있는 인기 오픈소스 TTS 후보를 한국어 지원·음성 복제(클로닝)·하드웨어 요구량 기준으로 비교한다.
2026-07 기준 r/LocalLLaMA·TTS-Arena·개발자 블로그에서 가장 자주 거론되는 모델은 Kokoro-82M(영어 기본값), GPT-SoVITS(한국어 zero-shot 클로닝), XTTS-v2(클로닝 + 다국어 밸런스) 세 축이다.
2026-10-10 정정·보강: Kokoro-82M은 한국어를 지원하지 않는다(v1.0 공식 8개 언어에 한국어 없음). 한국어를 공식 지원하는 Apache 2.0 모델로 2026-10-10-github-qwenlm-qwen3-tts를 추가했다. 이후 나온 한국어 후보는 moc-tts의 2026-10-03-fish-audio-s2-pro·2026-10-03-supertonic-3도 함께 본다.
비교 표
| 모델 | 파라미터 | 라이선스 | 한국어 | 음성 복제 | 하드웨어 | 한 줄 평 |
|---|---|---|---|---|---|---|
| Kokoro-82M | 82M | Apache 2.0 | 미지원(v1.0: 영·일·중·스·프·힌·이·포) | 불가 | CPU 가능 / GPU ~2–3GB VRAM | TTS-Arena 오픈소스 1위, 영어용으로 가장 빠르고 가벼운 기본값 |
| Qwen3-TTS | 0.6B / 1.7B | Apache 2.0 | 지원(공식 10개 언어, 한국어 WER 1.74 자체 측정) | 우수(3초 샘플) | GPU 권장 | 한국어 공식 지원 + 상업 이용 + 클로닝을 모두 갖춘 후보 (2026-10 추가) |
| VoxCPM2 | 2B | Apache 2.0 | 지원(공식 30개 언어, MiniMax-MLS 한국어 WER 1.962·SIM 83.3 자체 측정) | 우수(참조 음성 분리 + 이어 말하기, 음성 설계) | GPU ~8GB / 맥은 MPS·GGUF(M4 Pro RTF 약 1.76) | 한국어 화자 유사도 최상위, 발음 정확도는 Qwen3-TTS보다 조금 뒤 (2026-10 추가) |
| CosyVoice 2 / 3 | 0.5B | Apache 2.0 | 지원(한국어 학습 2,200h, 자체 test-ko CER 7.98%) | 우수(zero-shot) | GPU 권장 | 스트리밍·vLLM 서빙 경로, 한국어 정확도는 중간 (2026-10 추가) |
| MeloTTS | 경량(VITS) | MIT | 지원(KR 화자 1명) | 불가 | CPU 실시간 | 가볍고 상업 자유, 2024-12 이후 유지보수 정체 (2026-10 추가) |
| Breeze TTS 2 | ~3.5B | 코드 Apache 2.0 / 가중치 비상업 | 미지원(영·중만) | 우수(참조+대본) | CUDA GPU 12GB+ | 오픈 가중치 Elo 1위(자체 게시)지만 한국어 용도엔 제외 (2026-10 추가) |
| GPT-SoVITS | ~407M(V3) | MIT 계열 | 지원 | 강력(zero-shot, 5초 샘플) | GPU 권장 | 한국어 zero-shot 클로닝 커뮤니티 1위 |
| XTTS-v2 (Coqui) | 중형 | CPML(상업 제약) | 지원 | 우수(~6초 샘플) | GPU 권장 | 다국어 17개 + 클로닝, “무료 ElevenLabs” |
| F5-TTS | 중형 | CC-BY-NC(비상업) | 부분 지원 | 우수 | GPU 필요 | 음질·클로닝 충실도 최상위, 속도는 느림 |
| Fish Speech (S2) | 중형 | Apache 2.0 계열 | 부분 지원 | 우수 | GPU 필요 | TTS-Arena 오픈소스 최상위권 (S2) |
| Piper | 초경량 | MIT | 음성별 모델 필요 | 불가 | CPU-first(라즈베리파이 가능) | 임베디드/오프라인 기기용, 속도 최강 |
| Bark | 중형 | MIT | 부분 | 약함 | GPU 필요 | 웃음·한숨 등 비언어 표현·감정 표현력 |
| Parler-TTS | 중형 | Apache 2.0 | 미확인 | 약함 | GPU 필요 | 텍스트로 목소리 묘사(“친절한 여성처럼”) |
라이선스는 상용 여부의 핵심이다. Apache 2.0과 MIT는 상업 이용이 자유롭지만, F5-TTS의 CC-BY-NC(비상업)와 XTTS-v2의 CPML은 상업 이용에 제약이 있다. 프로덕션 상용이라면 Kokoro·GPT-SoVITS·Piper·Qwen3-TTS 계열이 안전하다(한국어가 필요하면 Kokoro는 제외).
목적별 추천
그냥 빠르고 깔끔한 한국어 TTS → Qwen3-TTS (내장 한국어 화자 Sohee)
또는 Supertonic 3 / MeloTTS (CPU 전용)
실시간 스트리밍 음성 응답 → CosyVoice 3 (Apache 2.0, vLLM 지원)
영어만 가볍고 빠르게 → Kokoro-82M (한국어 미지원, 클로닝 불가)
특정 목소리를 복제하고 싶다 → GPT-SoVITS (한국어 zero-shot 1위)
또는 VoxCPM2 (한국어 화자 유사도 최상위, GPU 8GB)
또는 XTTS-v2 (다국어 + 깨끗한 샘플)
음질이 최우선 → F5-TTS / Fish Speech S2
라즈베리파이/CPU/오프라인 기기 → Piper
웃음·한숨·감정 같은 비언어 표현 → Bark
맥(Apple Silicon)에서 실행
위 하드웨어 표의 VRAM 표기는 NVIDIA GPU 기준이다. 맥(M1/M2/M3)은 CUDA가 없는 대신 MPS(Metal) 백엔드로 같은 모델을 돌릴 수 있다. 단 모델별로 체감이 다르다.
| 모델 | 맥 추론 | 맥 훈련(클로닝용) | 비고 |
|---|---|---|---|
| Kokoro-82M | 원활(CPU/MPS) | N/A | 82M이라 CPU만으로도 충분, 클로닝 자체 불가, 한국어 미지원 |
| VoxCPM2 | 지원(--device auto가 MPS 선택), GGUF는 llama.cpp-omni·Metal | 미확인 | M4 Pro Q8_0 RTF 약 1.76으로 실시간보다 느림 |
| GPT-SoVITS | 지원(MPS 시 약 3배 가속) | 가능하나 매우 느림 | zero-shot 클로닝(추론)은 OK, 본격 파인튜닝은 GPU 서버 권장 |
핵심은 GPT-SoVITS를 추론과 훈련으로 나눠 보는 것이다.
- 추론(합성): CPU로 완전 지원, MPS 가속 적용 시 약 3배. 맥 추론 가이드, Issue #93 참고.
- 훈련(클로닝 파인튜닝): MPS로 가능하나 NVIDIA CUDA 대비 현저히 느리다. MPS 훈련 튜토리얼. 5초 샘플 zero-shot(추론)은 맥에서 그대로 되지만, 본격 파인튜닝은 GPU 서버가 낫다.
공식 “테스트 환경”은 전부 CUDA(Python 3.9–3.11, PyTorch 2.5.1+, CUDA 12.4–12.8)다. 맥에서는 일부 코드 수정이 필요할 수 있다.
다운로드
핵심 가중치는 모두 HuggingFace에서 받습니다. 설치·사용 가이드는 각 GitHub 저장소를 참고하세요.
Kokoro-82M
- 모델: https://huggingface.co/hexgrad/Kokoro-82M (현재 v1.0, 2025-01-27 — 8개 언어·54개 음성, 한국어 없음)
- 코드: https://github.com/hexgrad/kokoro
- 데모: https://huggingface.co/spaces/hexgrad/Kokoro-TTS
- 설치:
pip install kokoro— 패키지가 알아서 가중치를 가져온다
GPT-SoVITS
구조가 복잡해 여러 파일을 받아 GPT_SoVITS/pretrained_models/에 넣어야 한다.
- 전체 모델팩: https://huggingface.co/lj1995/GPT-SoVITS — 기본 GPT/SoVITS + BERT(chinese-roberta-wwm-ext-large, chinese-hubert-base 등) 포함
- 코드·설치 가이드: https://github.com/RVC-Boss/GPT-SoVITS
- v4 가중치: https://huggingface.co/kevinwang676/GPT-SoVITS-v4 —
gsv-v4-pretrained/s2v4.pth(또는.ckpt)와vocoder.pth추가 - G2PW(G2P): https://paddlespeech.cdn.bcebos.com/Parakeet/released_models/g2p/G2PWModel_1.1.zip
- 중국 접속 미러: https://gitee.com/hf-models/GPT-SoVITS
Qwen-Audio-3.0-TTS와의 관계
Qwen의 차별점은 자연어 스타일 지시(“화난 목소리로”)와 인라인 감정 태그([giggles], [gasp])를 한 프롬프트에서 함께 쓸 수 있다는 점이다. 오픈소스 중 이 맛에 가장 가까운 것은 Bark(비언어 표현)과 Parler-TTS(텍스트 묘사 제어)다. 단 둘 다 한국어 자연스러움은 GPT-SoVITS에 밀린다. 2026-01에는 같은 Qwen 팀이 오픈 가중치 2026-10-10-github-qwenlm-qwen3-tts를 냈다. 1.7B-CustomVoice·VoiceDesign은 자연어 지시로 감정·말투를 제어하고 한국어도 지원하므로, 로컬에서 Qwen-Audio-3.0의 “지시 제어 + 다국어”에 가장 가까운 대안이다. 인라인 감정 태그까지 같은지는 확인되지 않았다.
관련 페이지
- 2026-07-24-qwen-audio-3-0-tts — 이 비교의 출발점, 호스팅형 TTS
- 2026-10-10-github-qwenlm-qwen3-tts — Qwen3-TTS, 한국어 지원 오픈 가중치 TTS
- 2026-08-13-github-openbmb-voxcpm — VoxCPM2, 한국어 포함 30개 언어·48kHz·음성 설계
- 2026-10-11-fish-audio-s2-pro-vs-voxcpm2-korean — Fish Audio S2 Pro·VoxCPM2·Qwen3-TTS 한국어 3자 비교
- 2026-10-10-github-funaudiollm-cosyvoice — CosyVoice 2·3, 한국어 지원 스트리밍 TTS
- 2026-10-10-github-myshell-ai-melotts — MeloTTS, CPU 실시간 한국어 TTS
- 2026-10-10-huggingface-breezeblue-breeze-tts-2 — Breeze TTS 2, 영어·중국어 전용 오픈 가중치 Elo 1위
- moc-tts — TTS 전체 이정표
- moc-multimedia — 음성·TTS 노트 이정표
- 2026-04-19-local-korean-xtts-engine — 한국어 로컬 XTTS-v2 엔진 (이 노트의 XTTS-v2 실사례)
- 2026-07-07-openvoice-instant-voice-cloning — OpenVoice zero-shot 클로닝
- 2026-04-26-vibevoice-microsoft-voice-ai — Microsoft VibeVoice ASR/TTS
- 2026-04-15-gemini-3-1-flash-tts — Gemini 3.1 Flash TTS
- 2026-04-26-local-llm-formats-comparison — 로컬 추론 포맷(MLX/GGUF) 비교, 로컬 실행 맥락