출처
- source_url: https://news.hada.io/topic?id=12650
- author: neo (GeekNews, 원문 arxiv.org)
- published: 2024-01-02
- raw: raw source:
web-2026-07-07-openvoice-instant-voice-cloning
요약
OpenVoice는 짧은 참조 오디오만으로 화자의 음색을 복제하고 여러 언어로 말하게 하는 즉각 음성 복제(Instant Voice Cloning, IVC), 즉 화자별 추가 학습 없이 동작하는 Zero-shot TTS를 겨냥한 프레임워크다. 기존 VALLE·XTTS(자기회귀 방식)는 감정·억양·리듬을 유연하게 조작하기 어렵고, YourTTS·Voicebox(비자기회귀 방식)는 빠르지만 스타일 제어가 제한적이며, cross-lingual 복제는 보통 언어별 대규모 다화자 데이터셋(MSML)이 필요해 새 언어 추가가 어려웠다.
핵심 아이디어는 음색과 스타일·언어의 분리다.
- base speaker TTS 모델이 언어와 스타일(감정·억양·리듬·휴지·인트네이션)을 담당한다. 공개 구현은 VITS를 기본으로 쓰며, 텍스트 인코더와 duration predictor에 스타일·언어 임베딩을 넣도록 수정했다.
- tone color converter가 base speaker 음성에 참조 화자의 음색을 입힌다. 인코더가 STFT 스펙트럼을 입력받고, normalizing flow가 base 음성에서 음색 정보를 제거하면서 언어·스타일은 보존한 표현을 만든 뒤, inverse flow가 참조 화자의 음색 벡터를 조건으로 새 음색을 입히고 HiFi-GAN이 최종 waveform을 생성한다.
전체 구현은 자기회귀·확산 구성요소 없는 feed-forward 구조다. base TTS 학습에는 4개 언어 화자 30K 문장이, converter 학습에는 20K명·300K 오디오 샘플(영어 180K·중국어 60K·일본어 60K, “MSML 데이터셋”)이 쓰였다. converter는 mel-spectrogram loss·HiFi-GAN loss로 자연스러운 소리를 만들면서, IPA 음소 기반 정렬로 flow layer가 음색 정보를 최대한 제거하도록 학습된다 — flow layer는 invertible 구조라 새 음색 벡터를 조건으로 inverse process를 실행하면 동일 내용·스타일에 새 음색을 입힐 수 있다.
성능: 최적화 버전이 단일 A10G GPU에서 12× 실시간, 1초 음성 생성에 85ms가 걸린다(이론 상한은 약 40× 실시간으로 추정). MSML 데이터셋에 없는 언어에서도 near zero-shot cross-lingual 복제가 가능하다(단, 생성할 언어의 base speaker는 필요). IPA(국제음성기호) 사용이 cross-lingual 음색 변환의 핵심으로, 다른 음소 사전을 쓰면 학습에 없던 언어의 발음이 틀어지는 경향이 관찰됐다.
소스 코드와 모델 가중치가 공개됐고(비상업 라이선스, CC BY-NC 4.0), MyShell.ai의 음성 엔진으로 전 세계 200만 명 이상에게 제공된다. Hacker News 댓글에서는 실제 복제 품질이 “컴퓨터가 만든 소리”처럼 들린다는 지적, 온라인 버전(myshell.ai)이 오픈소스 구현보다 낫다는 README의 명시, 음성 인증(“내 목소리가 비밀번호”)의 취약성에 대한 우려, 접근성 목적(발성 장애인의 개인화 음성) 활용 가능성 등이 논의됐다.
관련 위키
원문 보존 위치
원문 전체는 raw source: web-2026-07-07-openvoice-instant-voice-cloning에 source_url과 함께 저장되어 있다.