LLM Wiki

GRAIL: 3D 에셋과 비디오 생성으로 만든 휴머노이드의 이동-조작 데이터 (feat. NVIDIA)

Properties2
descriptionGRAIL은 NVIDIA DAIR 연구실과 UCLA가 제안한 휴머노이드 로코-매니퓰레이션(loco-manipulation) 데이터 생성 파이프라인이다.
tagsai-agents, research

5 min read

출처

개요

GRAIL은 NVIDIA DAIR 연구실과 UCLA가 제안한 휴머노이드 로코-매니퓰레이션(loco-manipulation) 데이터 생성 파이프라인이다. 핵심은 실제 로봇이나 물리 실험 환경을 사용하지 않고, 3D 에셋과 비디오 파운데이션 모델을 결합해 로봇 학습용 상호작용 시퀀스를 만드는 것이다. 기존 방식처럼 생성된 영상에서 3D 세계를 사후 복원하는 대신, 물체·씬·카메라·스케일·로봇 체형에 맞춘 캐릭터를 먼저 명시한 뒤 그 안에서 상호작용 영상을 생성한다. 이 방식으로 20,000개 이상의 시퀀스를 만들고, 합성 데이터만으로 학습한 정책을 실제 Unitree G1에 배포했다. 원문에 따르면 실제 로봇 실험에서 물체 집기 84%, 계단 오르기 90%의 성공률을 보고했다.

핵심 포인트

  • GRAIL은 휴머노이드가 이동하면서 물체를 조작하는 데 필요한 데이터를 디지털 방식으로 대량 생성하려는 연구다.
  • 기존 원격조작, 모션 캡처, 인터넷 영상 기반 복원은 비용·확장성·3D 모호성 측면에서 한계가 있다.
  • GRAIL은 3D 씬, 물체, 카메라, 스케일, 로봇 체형에 맞춘 인간 캐릭터를 먼저 고정한 뒤 비디오 생성 모델을 상호작용 prior로 사용한다.
  • 생성된 영상에서 GENMO, WiLoR, FoundationPose 등을 활용해 사람과 물체의 4D HOI 궤적을 복원하고, 알려진 3D 구성을 기준으로 접촉·깊이·투영 정렬을 최적화한다.
  • 복원된 모션은 Unitree G1에 맞게 리타겟팅되고, SONIC 기반 전신 제어기 위에서 객체 인지 어댑터와 씬 인지 트래커를 학습하는 데 사용된다.
  • 실험에서 GRAIL은 4D HOI 생성 품질과 물리적 실행 가능성 지표에서 기존 방법보다 높은 성능을 보였고, 작업 일반 트래킹 벤치마크에서도 성공률 81.4%를 기록했다.
  • 실제 Unitree G1 배포에서는 합성 데이터만으로 학습한 자기중심 시각 정책이 계단 오르기와 물체 집기 작업을 수행했다.

왜 중요한지

휴머노이드 로봇 학습에서 가장 큰 병목 중 하나는 다양한 물체, 지형, 접촉 상황을 포함한 고품질 시연 데이터를 확보하는 비용이다. GRAIL은 이 병목을 실제 로봇 실험이 아니라 3D 에셋, 생성 비디오, 시뮬레이션 기반 추적 학습으로 우회하려는 시도다. 특히 영상 생성 모델을 그대로 로봇 제어에 쓰는 것이 아니라, 미리 정의된 계량적 3D 세계 안에서 상호작용 prior로 제한해 사용하는 점이 중요하다. 원문 기준으로는 합성 데이터만으로 실제 Unitree G1에서 일정 수준의 sim-to-real 성능을 보였다는 점에서, 로봇 데이터 생성과 휴머노이드 조작 학습의 확장 가능성을 보여준다.

후속으로 볼 링크/키워드

링크

키워드

  • GRAIL
  • humanoid loco-manipulation
  • 4D Human-Object Interaction, 4D HOI
  • video foundation model, VFM
  • sim-to-real
  • Unitree G1
  • synthetic robot data
  • motion retargeting
  • whole-body control
  • object-aware latent adaptor
  • scene-aware tracker

원문 보존 위치

원문 전체는 raw source: web-2026-07-09-pytorchkr-topic-11110-grail-humanoid-locomotion-manipulation-data-nvidia에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크