출처

개요

Vidu S1은 사용자가 음성으로 지시하면 화면 속 디지털 캐릭터가 실시간으로 그 동작을 수행하는 대화형 영상 생성 모델이다. 칭화대와 Shengshu Technology(Vidu 개발사)가 공동 발표했다. 언제든 말로 개입해 다음 행동을 지시할 수 있고, 흐림이나 붕괴 없이 무한 길이로 이어지며, 소비자용 GPU에서 540p를 최대 42FPS로 만든다.

핵심 포인트

  • 문제의식: Sora·Veo·Wan 같은 모델은 프롬프트를 넣고 수 분을 기다리는 오프라인 일괄 생성이다. 기존 자기회귀 영상 모델도 ① 생성 중 상호작용 불가 ② 음성 직접 제어 불가 ③ 긴 생성에서 오차 누적·드리프트 ④ 실시간 서빙 인프라 부재라는 벽이 있었다. 논문은 실시간 영상 수요(α·N)가 공유되는 오프라인 영상 수요(β·N/m)보다 훨씬 크다고 논증한다.
  • 데이터: 라이브 스트리밍·토킹헤드와 영화·드라마에서 1인 단일 샷을 모았다. 전문가 모델에 영상 전체를 이해하는 옴니 모델을 보완재로 더해 필터링하고, 화자 분리로 온스크린 음성만 남기며, 클립 단위와 음성 인지 청크 단위 캡션을 붙인다(시각·음향 속성을 따로 추론해 모달 간 환각 억제).
  • 3단계 학습: ① 전체 시퀀스 양방향 교사 → ② 인과 마스크를 씌운 인과 교사(Teacher Forcing과 Diffusion Forcing을 확률적으로 섞어 불완전한 과거에 강건하게) → ③ DMD 증류로 few-step 생성기를 만들고, 모드 붕괴를 막으려 PCM 일관성 목적을 정규화로 추가.
  • 무한 길이 추론: 영속 참조 맥락(어텐션 싱크 역할) + 캐시된 과거 + 현재 상태로 이루어진 고정 슬라이딩 윈도우로 단계당 지연을 일정하게 유지한다. RoPE 재배치로 재계산 없이 위치 일관성을 지키고, TwinCache(중간 단계는 노이즈 캐시로 고주파 아티팩트 누적 억제, 최종 단계는 깨끗한 캐시로 디테일·신원 복원)로 장기 일관성을 잡는다.
  • 인프라: TurboDiffusion·TurboServe 기반. SageAttention·SpargeAttention·SLA, 블록 단위 W8A8 양자화 GEMM, Triton/CUDA 커널 융합, CUDA Graph, Ulysses 컨텍스트 병렬화.
  • 결과: HDTF에서 CSIM 0.9192, Sync-D 7.847, DOVER 0.5660으로 모두 최고이며, 지시 따르기와 실시간을 동시에 지원하는 유일한 모델이다(Kling Avatar 2.0은 실시간 아님, HeyGen·LemonSlice는 지시 불가). 자체 Vidu-StreamBench 사람 선호도에서 HeyGen 대비 56%, 대상 제어성은 HeyGen·LemonSlice 대비 100%.
  • 한계: 540p 해상도, 1인 단일 샷 중심, 선호도 벤치는 자체 제작. 42FPS는 RTX 5090과 다중 GPU 병렬을 전제로 한다. 가중치·학습 코드는 비공개이고 데모(vidu.com/vidu-stream)와 API로 제공된다(에이전트용 API 스킬 포함).

왜 중요한가

영상 생성이 “기다려서 받는 콘텐츠”에서 “대화하며 반응하는 콘텐츠”로 넘어가려면 모델링·추론 알고리즘·서빙 인프라가 함께 맞물려야 한다는 것을 보여준다. 라이브 대화, 가상 진행자, 교육용 에이전트 같은 지연 민감 응용의 문턱을 낮췄다.

참고 링크

관련 위키

원문 보존 위치

원문 전체는 raw source: 2026-07-21-pytorchkr-topic-11332-vidu-s1-shengshu에 source_url 및 HTML 원문과 함께 저장되어 있습니다.