결론부터: 한국어 발음 정확도는 S2 Pro가 가장 좋다. 하지만 상업 이용(사내 업무 포함)에 별도 계약이 필요하고 GPU 요구량도 커서, 실제로 쓸 후보는 Apache 2.0인 나머지 둘로 좁혀진다. Qwen3-TTS는 정확도가 VoxCPM2보다 조금 낫고, 가볍고, 참조 음성 없이 쓰는 한국어 내장 화자가 있다. 다만 한국어 마지막 단어가 잘리는 버그가 1월부터 방치돼 있다. VoxCPM2는 목소리를 닮게 복제하는 지표가 셋 중 가장 높고 맥 실행 경로도 문서화돼 있다.

한눈에 보기

항목Fish Audio S2 ProVoxCPM2Qwen3-TTS
노트2026-10-03-fish-audio-s2-pro2026-08-13-github-openbmb-voxcpm2026-10-10-github-qwenlm-qwen3-tts
공개2026-03-092026-04-06 (마지막 2.0.3 2026-05-11)2026-01-22 (저장소 마지막 push 2026-03-17)
크기5B (Slow AR 4B + Fast AR 400M)2B (MiniCPM-4 기반)0.6B · 1.7B
언어80개 이상, 한국어는 Tier 230개, 한국어 포함10개, 한국어 포함
참조 없이 쓰기인라인 감정 태그자연어로 목소리 설계한국어 내장 화자 Sohee(1.7B·0.6B CustomVoice), 1.7B 목소리 설계
감정·스타일 제어문장 안 태그([whisper]·[angry] 등 1.5만 개 이상)참조 음성 + 제어 지시지시문으로 말투·감정(1.7B)
음성 복제10~30초 참조참조 분리 복제 + 이어 말하기, 5~10분 음성으로 LoRA3초 참조(Base), 파인튜닝 가능
스트리밍SGLang 첫 오디오 약 100ms(H200)generate_streaming()전 모델 지원, 첫 오디오 최저 97ms(주장)
라이선스연구·비상업만 무료Apache 2.0Apache 2.0
GPU공식 최소치 없음. A800에서 적재 약 48GiB 보고약 8GB (RTX 4090 RTF 약 0.30)공식 최소치 없음. 메모리 절감용 FlashAttention 2 권장
맥공식 경로 확인 못 함MPS 자동 선택, GGUF M4 Pro RTF 약 1.76README에 MPS·맥 언급 없음

한국어 수치

벤치마크S2 ProVoxCPM2Qwen3-TTS참고
MiniMax-MLS 한국어 WER ↓1.1801.9621.741 (0.6B) / 1.755 (1.7B)MiniMax 1.747, ElevenLabs 1.865
MiniMax-MLS 한국어 SIM ↑81.783.381.2 (0.6B) / 79.9 (1.7B)MiniMax 77.6~77.9, ElevenLabs 70.0
CV3-eval 한국어 오류율 ↓2.765.69보고 없음
OpenBMB 자체 ASR 한국어 CER ↓0.29%0.95%측정 안 됨
내장 화자 한국어 WER ↓——1.741 (1.7B) / 3.053 (0.6B)GPT-4o-Audio Preview 2.763

순위로 정리하면 이렇다.

  • 발음 정확도(WER): S2 Pro 1.18 → Qwen3-TTS 1.74 ≈ MiniMax 1.75 → VoxCPM2 1.96. S2 Pro만 뚜렷이 앞서고, Qwen3-TTS와 VoxCPM2의 차이(0.22포인트)는 작다.
  • 화자 유사도(SIM): VoxCPM2 83.3 → S2 Pro 81.7 → Qwen3-TTS 0.6B 81.2 → 1.7B 79.9. Qwen3-TTS는 복제 품질에서 작은 0.6B가 1.7B보다 낫다.
  • Qwen3-TTS 내장 화자를 쓸 거면 1.7B다. 0.6B는 한국어 WER이 3.053으로 크게 나빠진다.

이 숫자를 얼마나 믿을 수 있나

  • 세 회사가 각자 잰 값을 한 표에 놓았다. VoxCPM README의 S2 열(1.180·81.7·2.76)은 Fish 논문 값과 같고, Qwen3-TTS 열(1.755·79.9)은 Qwen README의 1.7B-Base 값과 같다. 같은 테스트셋이지만 같은 환경에서 나란히 잰 결과가 아니다.
  • 같은 테스트인데 기준값이 문서마다 어긋난다. CV3-eval 한국어 CosyVoice3-1.5B를 Fish 논문은 4.01, VoxCPM README는 5.69로 적고(VoxCPM2 자기 값과 같은 숫자), CosyVoice2도 5.14와 19.7로 다르다. MiniMax-MLS의 MiniMax 한국어 SIM도 Fish·VoxCPM은 77.6, Qwen은 0.779다. 소수점 차이 순위는 믿지 말고 큰 차이만 본다.
  • 가장 믿을 만한 건 OpenBMB 자체 ASR 행이다. 경쟁 모델 S2 Pro를 직접 돌려 자기 모델이 진다는 결과(0.29% vs 0.95%)를 공개했다. 전사는 Gemini 3.1 Flash Lite API로 했다. Qwen3-TTS는 이 벤치마크에 없다.
  • 사람이 들어 본 한국어 평가(MOS)는 셋 다 없다. WER·CER은 받아 적었을 때 맞는지, SIM은 참조 음색과 얼마나 닮았는지일 뿐이다. 억양·감정의 자연스러움은 수치로 알 수 없다.
  • 자동 지표가 못 잡는 결함도 있다. 아래 Qwen3-TTS의 마지막 단어 잘림이 그런 예다. 받아 적기 점수에는 작게 반영되지만, 들으면 바로 거슬리는 결함이다.

실사용 신호

  • Qwen3-TTS
    • 이슈 #55: 한국어·일본어로 생성하면 마지막 단어가 늘 잘린다는 보고다(재현 문장 “아, 고맙습니다. 음, 회의 목적에 대해 설명드리겠습니다.”). 2026-01-24에 열렸고 러시아어·일본어 사용자도 같은 증상을 보고했다. 2026-08에는 “개발자가 무시하고 있다”는 댓글까지 달렸고, 2026-10-11 현재 열린 채 메인테이너 답변이 없다.
    • 이슈 #353: 내장 한국어 화자 Sohee 출력을 수익화한 YouTube에 써도 되는지 묻는 질문이다. 모델은 Apache 2.0이지만 화자 음색 권리를 확인해 달라는 요청에 답이 없다. 상업 영상에 Sohee를 쓸 거라면 이 점이 남는다.
    • 저장소는 2026-03-17 이후 push가 없다.
    • 2026-03-21-voicebox 노트에는 Qwen3-TTS를 엔진으로 쓰는 앱에서 복제 품질이 떨어진다는 사용자 보고가 있다.
  • VoxCPM2: 한국어 실시간 음성 비서 팀이 이슈 307에서 참조 음성 복제의 한국어 품질을 “excellent”라고 평가했다. 다만 문장 단위 합성이라 LLM과 끊김 없이 대화하는 전이중 음성으로는 맞지 않는다고 했다.
  • S2 Pro: 위키에 모은 자료 안에서는 한국어 사용 후기를 찾지 못했다.

라이선스와 비용

  • S2 Pro: “상업 목적”에 수익이 나는 제품·서비스뿐 아니라 사업체의 내부 운영도 들어간다. 배포 시 “Built with Fish Audio” 표기가 필수이고, 출력물로 다른 생성 모델을 학습시키는 것도 금지다. 후속 S2.1 Pro는 가중치가 비공개이고 무료 API는 2026-11-30까지다.
  • VoxCPM2: Apache 2.0. README는 사칭·사기·허위정보 금지와 AI 생성물 표시를 권고한다.
  • Qwen3-TTS: Apache 2.0. 다만 내장 화자 음색의 상업 권리는 위 353처럼 공식 답이 없다. 자기 목소리나 허락받은 목소리로 복제(Base)해 쓰면 이 문제를 피할 수 있다.

상황별 선택

개인 연구·평가, 한국어 발음 정확도 최우선, 큰 GPU 있음   → S2 Pro
상업용, 참조 음성 없이 바로 한국어 목소리 필요           → Qwen3-TTS 1.7B CustomVoice(Sohee)
                                                          (끝 단어 잘림·음색 권리 확인 필요)
상업용, 특정 목소리를 닮게 복제                          → VoxCPM2 (SIM 최상위, LoRA)
                                                          또는 Qwen3-TTS 0.6B-Base (3초 참조, 더 가벼움)
가장 가벼운 GPU로 한국어 복제                            → Qwen3-TTS 0.6B-Base
맥(Apple Silicon)에서 로컬 실행                          → VoxCPM2 (유일하게 맥 경로가 문서화됨)
LLM 음성 응답처럼 첫 소리가 빨라야 함                    → Qwen3-TTS (전 모델 스트리밍, 97ms 주장)
문장 안에서 감정·발성을 태그로 세밀하게 지시             → S2 Pro (한국어 효과는 직접 확인)

어느 쪽이든 실제로 쓸 한국어 문장 몇 개를 직접 합성해 들어 보고 정하는 게 가장 확실하다. Qwen3-TTS를 시험할 땐 문장 끝이 잘리지 않는지부터 확인한다. 위 수치에는 사람이 들어 본 한국어 평가가 빠져 있다.

관련 페이지