CosyVoice는 Alibaba 통의(Tongyi) FunAudioLLM 팀의 LLM 기반 오픈소스 TTS다. CosyVoice 2(2024-12, 0.5B)와 후속 Fun-CosyVoice 3(2025-12, 0.5B)이 모두 한국어 zero-shot 음성 복제와 스트리밍을 지원하고, 코드와 가중치 모두 Apache 2.0이다. 다만 한국어 학습 데이터가 적어서 한국어 정확도는 최상위권에 못 미친다.
핵심 정보
| 항목 | CosyVoice 2 | Fun-CosyVoice 3 |
|---|---|---|
| 공개 | 2024-12 | 2025-12 (Fun-CosyVoice3-0.5B-2512, RL 버전 포함) |
| 규모 | 0.5B | 0.5B |
| 언어 | 중·영·일·한 중심(HF 태그상 9개 언어) | 9개 언어(한국어 포함) + 중국 방언 18종 이상 |
| 기능 | zero-shot 클로닝, 교차 언어 합성, 지시 생성, 스트리밍 | 위 기능 + 발음 보정, 텍스트 정규화, 입출력 양방향 스트리밍(최저 150ms) |
| 라이선스 | Apache 2.0 | Apache 2.0 |
- 저장소는
QwenAudio/CosyVoice로 옮겨졌다(구 URL은 리다이렉트). 스타 약 2.4만, 마지막 push는 2026-05다. - README는 새로 쓸 거라면 Fun-CosyVoice3-0.5B를 쓰라고 강하게 권장한다.
- 설치는 conda(Python 3.10) +
requirements.txt다. vLLM(0.9.0, 0.11.x 이상)과 TensorRT-LLM 런타임, FastAPI·gRPC 서버, Docker 배포 예제가 있다. Docker 예제는 NVIDIA GPU를 전제로 한다.
한국어 품질
- 학습 데이터 불균형: CosyVoice 2 논문의 학습 데이터는 중국어 13만 시간, 영어 3만 시간, 일본어 4,600시간, 한국어 2,200시간이다. 논문도 데이터 불균형을 한계로 들었다.
- 자체 한국어 테스트(test-ko): CER 7.98%, 화자 유사도 0.707, NMOS 3.73이다. 스트리밍 모드에서는 CER 9.06%로 조금 나빠진다. 논문은 한자를 공유하는 일본어보다 한국어 결과가 훨씬 낫다고 설명한다.
- 다른 모델과의 비교: 2026-10-03-fish-audio-s2-pro 논문의 CV3-Eval 한국어 WER에서 CosyVoice2는 5.14, CosyVoice3는 4.01~4.02였다. 같은 표에서 Fish S2 Pro는 2.76이다. Fish 측이 측정한 값이라는 점은 감안해야 한다.
- 정리하면, 한국어를 “지원”하는 것은 확실하지만 정확도에서는 2026-10-10-github-qwenlm-qwen3-tts·Fish S2 Pro보다 뒤로 보인다. 지표와 테스트셋이 서로 달라 정확한 순위는 매길 수 없다.
언제 고를까
- Apache 2.0 라이선스로 스트리밍 음성 비서나 실시간 응답을 만들어야 할 때. vLLM·TensorRT-LLM 같은 서빙 경로가 갖춰져 있다.
- 중국어 방언이나 다국어 교차 합성이 함께 필요할 때.
- 한국어 정확도가 최우선이라면 Qwen3-TTS(같은 Alibaba 계열, Apache 2.0)를 먼저 시험해 보는 편이 낫다.
관련 페이지
- moc-tts — TTS 노트 이정표
- 2026-07-25-local-open-tts-models — 로컬 오픈소스 TTS 비교
- 2026-10-10-github-qwenlm-qwen3-tts — 같은 Alibaba 계열, 한국어 정확도가 더 높게 보고된 TTS
- 2026-10-03-fish-audio-s2-pro — CV3-Eval 한국어 비교 수치의 출처
- 2026-08-13-github-openbmb-voxcpm — README 평가표에 함께 나오는 VoxCPM