LLM Wiki

EgoControl: 3D 전신 포즈로 1인칭 시점 영상을 제어하는 비디오 확산 모델 (feat. NVIDIA)

Properties2
descriptionPyTorchKR 9bow 게시글의 핵심 내용과 실무적 의미를 원문에 근거해 정리한다.
tagsai-models, open-source, research

6 min read

출처

개요

EgoControl은 카메라 착용자의 3D 전신 포즈 시퀀스와 과거 1인칭 영상 프레임을 조건으로 받아, 해당 움직임에 맞는 미래 1인칭 영상을 생성하는 잠재 조건부 비디오 확산 모델입니다. 기존의 텍스트·카메라 궤적 조건이나 3인칭 중심의 2D 포즈 제어와 달리, 머리부터 발끝까지의 3D 포즈를 사용해 카메라 시점과 팔·손 등 신체 부위의 움직임을 함께 제어합니다. 모델은 Cosmos 기반 DiT 구조에 포즈 정보를 AdaLN 기반 전역 변조와 시간 구조를 보존하는 크로스 어텐션 방식으로 주입합니다. Nymeria 데이터셋 실험에서 머리 포즈만 사용하는 경우보다 전신 포즈 사용 시 팔 정렬 mIoU가 33.70에서 52.13으로, 팔 존재 여부 정확도가 91.14%에서 96.33%로 개선되었습니다. 연구진은 University of Bonn, Lamarr Institute, NVIDIA 소속이며, 원문에서는 CVPR 2026 채택 연구로 소개합니다.

핵심 포인트

  • 입력은 과거 관측 프레임과 미래의 3D 전신 포즈 시퀀스이며, 출력은 포즈와 시각적으로 일관된 미래 1인칭 영상입니다.
  • 포즈는 전역 위치가 아니라 머리와 골반의 프레임 간 상대 변환 및 골반 기준 관절 변환으로 표현해 카메라 움직임과 신체 움직임을 함께 담습니다.
  • AdaLN 경로는 포즈를 전역 조건으로 사용해 시점과 전반적인 움직임을 조절하고, 크로스 어텐션 경로는 프레임별 포즈 토큰을 사용해 세밀한 관절 정렬을 보완합니다.
  • 실험은 Nymeria 데이터셋의 1인칭 영상과 동기화된 3D 전신 모션 캡처 데이터를 사용했으며, 시각 품질·카메라 움직임·팔 제어 정확도를 평가했습니다.
  • 전신 포즈 제어 모델은 머리 포즈만 제어한 모델보다 FVD가 22.68에서 20.18로, 카메라 이동 오차가 5.16에서 4.90으로, 회전 오차가 3.29에서 2.96으로 낮아졌습니다.
  • AdaLN과 크로스 어텐션을 함께 사용한 ablation 설정이 두 방식 중 하나만 사용한 경우보다 시각 품질과 전역 움직임 제어에서 더 좋은 결과를 보였습니다.
  • 원문은 동일한 초기 맥락에 서로 다른 포즈 시퀀스를 적용하거나, 서로 다른 초기 맥락에 같은 포즈를 적용하는 정성적 결과도 제시합니다.

왜 중요한가

1인칭 영상은 카메라 움직임, 자기 가림, 손·물체 상호작용이 신체 움직임과 밀접하게 연결되어 있어 단순한 카메라 궤적이나 2D 골격만으로 제어하기 어렵습니다. EgoControl은 미래의 신체 포즈를 시각적 결과로 변환함으로써 체화된 에이전트가 행동 전에 예상 장면을 시뮬레이션하거나, 로봇 조작·내비게이션·AR/VR·원격 조작에서 행동 결과를 예측하는 데 활용할 수 있는 방향을 제시합니다. 다만 이 글의 결과는 Nymeria 기반 실험과 제시된 평가 지표에 근거한 것이며, 실제 로봇 제어 성능이나 물리적 타당성까지 직접 검증한 결과로 확대해석해서는 안 됩니다.

후속으로 볼 링크와 키워드

관련 위키

원문 보존 위치

원문 전체는 raw source: 2026-07-28-pytorchkr-topic-11107-egocontrol-3d-1-feat-nvidia에 source_url 및 HTML 원문과 함께 저장되어 있습니다.