Fish Audio S2 Pro는 2026-03-09 공개된 5B 파라미터 오픈 가중치 TTS다. 한국어 자동 지표는 비교 모델보다 좋게 나왔지만, 가중치는 연구·비상업 라이선스이고 로컬 실행에는 큰 GPU가 필요하다.

한눈에 보기

항목내용
개발·공개Fish Audio(39 AI, Inc.), 2026-03-09, arXiv 2603.08823
구조Dual-AR(Slow AR 4B + Fast AR 400M) + RVQ 코덱, 총 5B
언어80개 이상, 한국어는 Tier 2(Tier 1은 일본어·영어·중국어)
제어자유 서술 [whisper] [angry] [singing] 같은 인라인 태그(1.5만 개 이상)
클로닝10~30초 참조 음성
속도RTF 0.195, 첫 오디오 약 100ms(H200 1장, SGLang)
라이선스Fish Audio Research License — 연구·비상업만 무료

한국어 품질

논문의 한국어 자동 평가(저자 자체 측정)는 다음과 같다.

벤치마크S2비교
Minimax 다국어 한국어 WER(낮을수록 좋음)1.18%MiniMax 1.75, ElevenLabs 1.87, S1 1.99
Minimax 한국어 화자 유사도 SIM(높을수록 좋음)0.817MiniMax 0.776, ElevenLabs 0.700, S1 0.747
CV3-Eval 한국어 WER2.76%S1 3.19, CosyVoice3 4.01~4.02, CosyVoice2 5.14
  • 한국어에서 단어 오류율(WER)은 ElevenLabs·MiniMax보다 낮고 음색 보존(SIM)도 앞선다. 다만 이는 명료도와 음색 지표이며, 억양·감정이 자연스러운지를 사람이 평가한 한국어 MOS는 없다.
  • 전체 인간다움 지표는 Audio Turing Test 0.483(지시문 재작성 병용 시 0.515)로 Seed-TTS 0.417, MiniMax-Speech 0.387, GPT-4o 0.138보다 높았다. EmergentTTS-Eval 승률은 81.88%다. 둘 다 한국어 전용 수치가 아니다.
  • 한국어 감정 태그의 실제 효과는 공식 평가가 영어·중국어만 다뤄서 확인하지 못했다. 한국어로 직접 들어보고 판단해야 한다.

로컬 실행

  • 가중치는 Hugging Face(fishaudio/s2-pro, safetensors 2개 + codec.pth)에 있고 SGLang-Omni·vLLM-Omni로 서빙한다.
  • 공식 문서는 최소 VRAM을 적지 않았다. 검색에서 본 보고로는 A800 80GB에서 적재 약 48GiB·추론 피크 약 49GiB이고, RTX 3060 12GB를 개발용으로 권하는 글도 있어 서로 어긋난다. 소비자 GPU에서 되는지는 직접 확인이 필요하다.

라이선스 주의

  • 상업 목적에는 별도 서면 계약이 필요하다. 상업 목적의 정의에 사업체의 내부 운영과 수익이 생기는 모든 제품·서비스가 들어간다.
  • 배포 시 “Built with Fish Audio” 표기와 Notice 파일이 필수이고, 모델과 출력물로 기반 생성 AI 모델을 만들거나 개선하는 것은 금지된다.
  • 후속 S2.1 Pro(2026-06-23)는 가중치가 비공개이고 무료 API만 2026-11-30까지 제공한다. 로컬에서 쓸 수 있는 건 S2 Pro까지다.

관련 노트

출처와 한계

  • 근거는 모델 카드·LICENSE·논문이다. 벤치마크는 모두 Fish Audio 자체 측정이고 독립 재현은 확인하지 못했다.
  • 모델 카드의 “RTF 0.195”는 H200 기준이라 일반 GPU 속도로 옮길 수 없다.
  • 원문: Hugging Face, GitHub, 논문, S2.1 Pro 발표.