CosyVoice는 Alibaba 통의(Tongyi) FunAudioLLM 팀의 LLM 기반 오픈소스 TTS다. CosyVoice 2(2024-12, 0.5B)와 후속 Fun-CosyVoice 3(2025-12, 0.5B)이 모두 한국어 zero-shot 음성 복제와 스트리밍을 지원하고, 코드와 가중치 모두 Apache 2.0이다. 다만 한국어 학습 데이터가 적어서 한국어 정확도는 최상위권에 못 미친다.

핵심 정보

항목CosyVoice 2Fun-CosyVoice 3
공개2024-122025-12 (Fun-CosyVoice3-0.5B-2512, RL 버전 포함)
규모0.5B0.5B
언어중·영·일·한 중심(HF 태그상 9개 언어)9개 언어(한국어 포함) + 중국 방언 18종 이상
기능zero-shot 클로닝, 교차 언어 합성, 지시 생성, 스트리밍위 기능 + 발음 보정, 텍스트 정규화, 입출력 양방향 스트리밍(최저 150ms)
라이선스Apache 2.0Apache 2.0
  • 저장소는 QwenAudio/CosyVoice로 옮겨졌다(구 URL은 리다이렉트). 스타 약 2.4만, 마지막 push는 2026-05다.
  • README는 새로 쓸 거라면 Fun-CosyVoice3-0.5B를 쓰라고 강하게 권장한다.
  • 설치는 conda(Python 3.10) + requirements.txt다. vLLM(0.9.0, 0.11.x 이상)과 TensorRT-LLM 런타임, FastAPI·gRPC 서버, Docker 배포 예제가 있다. Docker 예제는 NVIDIA GPU를 전제로 한다.

한국어 품질

  • 학습 데이터 불균형: CosyVoice 2 논문의 학습 데이터는 중국어 13만 시간, 영어 3만 시간, 일본어 4,600시간, 한국어 2,200시간이다. 논문도 데이터 불균형을 한계로 들었다.
  • 자체 한국어 테스트(test-ko): CER 7.98%, 화자 유사도 0.707, NMOS 3.73이다. 스트리밍 모드에서는 CER 9.06%로 조금 나빠진다. 논문은 한자를 공유하는 일본어보다 한국어 결과가 훨씬 낫다고 설명한다.
  • 다른 모델과의 비교: 2026-10-03-fish-audio-s2-pro 논문의 CV3-Eval 한국어 WER에서 CosyVoice2는 5.14, CosyVoice3는 4.01~4.02였다. 같은 표에서 Fish S2 Pro는 2.76이다. Fish 측이 측정한 값이라는 점은 감안해야 한다.
  • 정리하면, 한국어를 “지원”하는 것은 확실하지만 정확도에서는 2026-10-10-github-qwenlm-qwen3-tts·Fish S2 Pro보다 뒤로 보인다. 지표와 테스트셋이 서로 달라 정확한 순위는 매길 수 없다.

언제 고를까

  • Apache 2.0 라이선스로 스트리밍 음성 비서나 실시간 응답을 만들어야 할 때. vLLM·TensorRT-LLM 같은 서빙 경로가 갖춰져 있다.
  • 중국어 방언이나 다국어 교차 합성이 함께 필요할 때.
  • 한국어 정확도가 최우선이라면 Qwen3-TTS(같은 Alibaba 계열, Apache 2.0)를 먼저 시험해 보는 편이 낫다.

관련 페이지