NVIDIA의 Lyra 2.0은 단일 이미지로부터 지속적이고 탐색 가능한 3D 월드를 생성하는 프레임워크다. 장거리 비디오 생성과 명시적 3D 재구성을 결합해, 실시간 렌더링 가능한 3D Gaussian 씬을 만든다.
핵심 요약
- Hugging Face 카드 기준 2026년 4월 공개
- 입력은 단일 이미지와 카메라 파라미터
- 출력은 3D Gaussian scene representation과
.ply형태의 결과물 - 파이프라인은 2단계
- 전역 기하 일관성을 갖는 장거리 비디오 생성
- 생성된 시퀀스를 explicit 3D representation으로 재구성
- 베이스 모델은 WAN-14B, 전체 파라미터는 14B
- 라이선스는 NVIDIA Internal Scientific Research and Development Model License
- production, public deployment, commercial distribution에 대한 제한이 강함
기술 포인트
- 공간적 망각(spatial forgetting)을 줄이기 위해 프레임별 3D geometry를 보관하고 정보 라우팅에 사용
- temporal drifting을 줄이기 위해 self-augmented histories로 학습
- 생성 prior와 기하적 대응 관계를 분리해 사용
- 결과적으로 spatially persistent scene generation과 real-time rendering을 동시에 지향
입력 / 출력
입력
- 이미지 1장
- 카메라 포즈 / 카메라 파라미터
- 추천 입력 해상도: 480 × 832
- 권장 카메라 프레임 수: 81
출력
- 3D Gaussian scene
- point cloud 스타일 파일, 예:
.ply
실무 해석
- Lyra 2.0은 text-to-video 계열보다 한 단계 더 나아가, 단일 이미지에서 world model 성격의 3D 공간을 복원하는 방향에 가깝다.
- Open-Sora 같은 비디오 생성 노트와 함께 보면, 영상 생성과 3D world reconstruction이 점점 한 파이프라인 안에서 수렴하고 있음을 보여준다.
- 다만 NVIDIA의 내부 R&D 라이선스라서, 실제 제품화나 배포용으로 보기에는 부적합하다.
관련 노트
- 2026-04-10-open-sora-2-video-generation
- 2026-03-22-nemotron3-super-kiwoom-api-migration
- 2026-04-14-gemma4-codex-cli-local-model