결론부터: 한국어 발음 정확도는 S2 Pro가 가장 좋다. 하지만 상업 이용(사내 업무 포함)에 별도 계약이 필요하고 GPU 요구량도 커서, 실제로 쓸 후보는 Apache 2.0인 나머지 둘로 좁혀진다. Qwen3-TTS는 정확도가 VoxCPM2보다 조금 낫고, 가볍고, 참조 음성 없이 쓰는 한국어 내장 화자가 있다. 다만 한국어 마지막 단어가 잘리는 버그가 1월부터 방치돼 있다. VoxCPM2는 목소리를 닮게 복제하는 지표가 셋 중 가장 높고 맥 실행 경로도 문서화돼 있다.
한눈에 보기
| 항목 | Fish Audio S2 Pro | VoxCPM2 | Qwen3-TTS |
|---|---|---|---|
| 노트 | 2026-10-03-fish-audio-s2-pro | 2026-08-13-github-openbmb-voxcpm | 2026-10-10-github-qwenlm-qwen3-tts |
| 공개 | 2026-03-09 | 2026-04-06 (마지막 2.0.3 2026-05-11) | 2026-01-22 (저장소 마지막 push 2026-03-17) |
| 크기 | 5B (Slow AR 4B + Fast AR 400M) | 2B (MiniCPM-4 기반) | 0.6B · 1.7B |
| 언어 | 80개 이상, 한국어는 Tier 2 | 30개, 한국어 포함 | 10개, 한국어 포함 |
| 참조 없이 쓰기 | 인라인 감정 태그 | 자연어로 목소리 설계 | 한국어 내장 화자 Sohee(1.7B·0.6B CustomVoice), 1.7B 목소리 설계 |
| 감정·스타일 제어 | 문장 안 태그([whisper]·[angry] 등 1.5만 개 이상) | 참조 음성 + 제어 지시 | 지시문으로 말투·감정(1.7B) |
| 음성 복제 | 10~30초 참조 | 참조 분리 복제 + 이어 말하기, 5~10분 음성으로 LoRA | 3초 참조(Base), 파인튜닝 가능 |
| 스트리밍 | SGLang 첫 오디오 약 100ms(H200) | generate_streaming() | 전 모델 지원, 첫 오디오 최저 97ms(주장) |
| 라이선스 | 연구·비상업만 무료 | Apache 2.0 | Apache 2.0 |
| GPU | 공식 최소치 없음. A800에서 적재 약 48GiB 보고 | 약 8GB (RTX 4090 RTF 약 0.30) | 공식 최소치 없음. 메모리 절감용 FlashAttention 2 권장 |
| 맥 | 공식 경로 확인 못 함 | MPS 자동 선택, GGUF M4 Pro RTF 약 1.76 | README에 MPS·맥 언급 없음 |
한국어 수치
| 벤치마크 | S2 Pro | VoxCPM2 | Qwen3-TTS | 참고 |
|---|---|---|---|---|
| MiniMax-MLS 한국어 WER ↓ | 1.180 | 1.962 | 1.741 (0.6B) / 1.755 (1.7B) | MiniMax 1.747, ElevenLabs 1.865 |
| MiniMax-MLS 한국어 SIM ↑ | 81.7 | 83.3 | 81.2 (0.6B) / 79.9 (1.7B) | MiniMax 77.6~77.9, ElevenLabs 70.0 |
| CV3-eval 한국어 오류율 ↓ | 2.76 | 5.69 | 보고 없음 | |
| OpenBMB 자체 ASR 한국어 CER ↓ | 0.29% | 0.95% | 측정 안 됨 | |
| 내장 화자 한국어 WER ↓ | — | — | 1.741 (1.7B) / 3.053 (0.6B) | GPT-4o-Audio Preview 2.763 |
순위로 정리하면 이렇다.
- 발음 정확도(WER): S2 Pro 1.18 → Qwen3-TTS 1.74 ≈ MiniMax 1.75 → VoxCPM2 1.96. S2 Pro만 뚜렷이 앞서고, Qwen3-TTS와 VoxCPM2의 차이(0.22포인트)는 작다.
- 화자 유사도(SIM): VoxCPM2 83.3 → S2 Pro 81.7 → Qwen3-TTS 0.6B 81.2 → 1.7B 79.9. Qwen3-TTS는 복제 품질에서 작은 0.6B가 1.7B보다 낫다.
- Qwen3-TTS 내장 화자를 쓸 거면 1.7B다. 0.6B는 한국어 WER이 3.053으로 크게 나빠진다.
이 숫자를 얼마나 믿을 수 있나
- 세 회사가 각자 잰 값을 한 표에 놓았다. VoxCPM README의 S2 열(1.180·81.7·2.76)은 Fish 논문 값과 같고, Qwen3-TTS 열(1.755·79.9)은 Qwen README의 1.7B-Base 값과 같다. 같은 테스트셋이지만 같은 환경에서 나란히 잰 결과가 아니다.
- 같은 테스트인데 기준값이 문서마다 어긋난다. CV3-eval 한국어 CosyVoice3-1.5B를 Fish 논문은 4.01, VoxCPM README는 5.69로 적고(VoxCPM2 자기 값과 같은 숫자), CosyVoice2도 5.14와 19.7로 다르다. MiniMax-MLS의 MiniMax 한국어 SIM도 Fish·VoxCPM은 77.6, Qwen은 0.779다. 소수점 차이 순위는 믿지 말고 큰 차이만 본다.
- 가장 믿을 만한 건 OpenBMB 자체 ASR 행이다. 경쟁 모델 S2 Pro를 직접 돌려 자기 모델이 진다는 결과(0.29% vs 0.95%)를 공개했다. 전사는 Gemini 3.1 Flash Lite API로 했다. Qwen3-TTS는 이 벤치마크에 없다.
- 사람이 들어 본 한국어 평가(MOS)는 셋 다 없다. WER·CER은 받아 적었을 때 맞는지, SIM은 참조 음색과 얼마나 닮았는지일 뿐이다. 억양·감정의 자연스러움은 수치로 알 수 없다.
- 자동 지표가 못 잡는 결함도 있다. 아래 Qwen3-TTS의 마지막 단어 잘림이 그런 예다. 받아 적기 점수에는 작게 반영되지만, 들으면 바로 거슬리는 결함이다.
실사용 신호
- Qwen3-TTS
- 이슈 #55: 한국어·일본어로 생성하면 마지막 단어가 늘 잘린다는 보고다(재현 문장 “아, 고맙습니다. 음, 회의 목적에 대해 설명드리겠습니다.”). 2026-01-24에 열렸고 러시아어·일본어 사용자도 같은 증상을 보고했다. 2026-08에는 “개발자가 무시하고 있다”는 댓글까지 달렸고, 2026-10-11 현재 열린 채 메인테이너 답변이 없다.
- 이슈 #353: 내장 한국어 화자 Sohee 출력을 수익화한 YouTube에 써도 되는지 묻는 질문이다. 모델은 Apache 2.0이지만 화자 음색 권리를 확인해 달라는 요청에 답이 없다. 상업 영상에 Sohee를 쓸 거라면 이 점이 남는다.
- 저장소는 2026-03-17 이후 push가 없다.
- 2026-03-21-voicebox 노트에는 Qwen3-TTS를 엔진으로 쓰는 앱에서 복제 품질이 떨어진다는 사용자 보고가 있다.
- VoxCPM2: 한국어 실시간 음성 비서 팀이 이슈 307에서 참조 음성 복제의 한국어 품질을 “excellent”라고 평가했다. 다만 문장 단위 합성이라 LLM과 끊김 없이 대화하는 전이중 음성으로는 맞지 않는다고 했다.
- S2 Pro: 위키에 모은 자료 안에서는 한국어 사용 후기를 찾지 못했다.
라이선스와 비용
- S2 Pro: “상업 목적”에 수익이 나는 제품·서비스뿐 아니라 사업체의 내부 운영도 들어간다. 배포 시 “Built with Fish Audio” 표기가 필수이고, 출력물로 다른 생성 모델을 학습시키는 것도 금지다. 후속 S2.1 Pro는 가중치가 비공개이고 무료 API는 2026-11-30까지다.
- VoxCPM2: Apache 2.0. README는 사칭·사기·허위정보 금지와 AI 생성물 표시를 권고한다.
- Qwen3-TTS: Apache 2.0. 다만 내장 화자 음색의 상업 권리는 위 353처럼 공식 답이 없다. 자기 목소리나 허락받은 목소리로 복제(Base)해 쓰면 이 문제를 피할 수 있다.
상황별 선택
개인 연구·평가, 한국어 발음 정확도 최우선, 큰 GPU 있음 → S2 Pro
상업용, 참조 음성 없이 바로 한국어 목소리 필요 → Qwen3-TTS 1.7B CustomVoice(Sohee)
(끝 단어 잘림·음색 권리 확인 필요)
상업용, 특정 목소리를 닮게 복제 → VoxCPM2 (SIM 최상위, LoRA)
또는 Qwen3-TTS 0.6B-Base (3초 참조, 더 가벼움)
가장 가벼운 GPU로 한국어 복제 → Qwen3-TTS 0.6B-Base
맥(Apple Silicon)에서 로컬 실행 → VoxCPM2 (유일하게 맥 경로가 문서화됨)
LLM 음성 응답처럼 첫 소리가 빨라야 함 → Qwen3-TTS (전 모델 스트리밍, 97ms 주장)
문장 안에서 감정·발성을 태그로 세밀하게 지시 → S2 Pro (한국어 효과는 직접 확인)
어느 쪽이든 실제로 쓸 한국어 문장 몇 개를 직접 합성해 들어 보고 정하는 게 가장 확실하다. Qwen3-TTS를 시험할 땐 문장 끝이 잘리지 않는지부터 확인한다. 위 수치에는 사람이 들어 본 한국어 평가가 빠져 있다.
관련 페이지
- 2026-10-03-fish-audio-s2-pro — S2 Pro 모델 카드·라이선스·논문 정리
- 2026-08-13-github-openbmb-voxcpm — VoxCPM2 구조·API, 2026-10-11 한국어 재조사
- 2026-10-10-github-qwenlm-qwen3-tts — Qwen3-TTS 모델 구성·한국어 평가 표
- 2026-03-21-voicebox — Qwen3-TTS를 엔진으로 쓰는 로컬 음성 스튜디오
- 2026-07-25-local-open-tts-models — 로컬 오픈소스 TTS 13종 비교
- moc-tts