LLM Wiki

ASPIRE: 스스로 코드를 고치며 스킬을 쌓는 자기개선형 로봇 학습에 대한 연구 (feat. NVIDIA)

Properties2
description실행 흔적으로 로봇 제어 코드를 디버깅하고 검증된 수정을 스킬로 축적하는 ASPIRE의 구조와 평가 결과를 정리한 글.
tagsai-agents, ai-coding, automation, open-source

6 min read

출처

개요

ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)는 코딩 에이전트가 로봇 제어 프로그램을 실행하고, 다중모달 실행 흔적으로 실패 원인을 진단한 뒤, 코드를 수정하고 검증하는 지속 학습 시스템이다. 검증된 수정은 재사용 가능한 스킬 라이브러리에 저장되며, 이후 과제의 프로그램 작성과 디버깅에 활용된다. 시스템은 원시 동작 단위의 로봇 실행 엔진, 공유 스킬 라이브러리, 진화적 탐색을 결합한다. 게시글이 소개한 실험에서 ASPIRE는 LIBERO-Pro, Robosuite, BEHAVIOR-1K의 여러 설정에서 기존 코드 에이전트와 VLA 베이스라인보다 높은 성능을 보였고, 시뮬레이션 스킬을 다른 형태의 실제 로봇 프로그램 작성에도 활용했다.

핵심 포인트

  • 기존 VLA는 관측에서 행동을 직접 생성해 변형에 취약하고, 기존 Code-as-Policy 시스템은 실패 원인을 충분히 진단할 실행 피드백과 과제 간 경험 축적이 부족하다는 문제의식에서 출발한다.
  • 로봇 실행 엔진은 인식·계획·제어 원시 동작 호출마다 API, 인자, 반환 상태, 소요 시간, RGB 키프레임과 오버레이 등을 구조화된 JSON 흔적으로 남긴다. 이 정보로 에이전트는 인식 오류, 파지 실패, 계획 오류 등을 구분한다.
  • 코디네이터는 여러 액터를 병렬로 실행하고, 액터 간 전체 대화와 원본 궤적 대신 검증된 수정만 스킬 라이브러리로 공유해 컨텍스트를 줄인다.
  • 스킬은 실패 시그니처, 적용 조건, 수정 전략, 코드 스케치를 포함하는 인컨텍스트 가이드다. 예시로 다중 물체 구분, 병 파지, 얇은 물체 밀기, 장애물 주변 다중 각도 접근이 제시된다.
  • 진화적 탐색은 상위 프로그램과 실패 흔적을 바탕으로 여러 후보 프로그램을 만들고 실행한다. task_analysis.md에 검증된 가설과 제거된 탐색 경로를 기록해 같은 실패를 반복하지 않도록 한다.
  • 게시글에 따르면 LIBERO-Pro에서 물체·목표·공간 교란에 대해 강한 베이스라인 대비 각각 77%, 41.5%, 42.5%의 향상을 보였고, Robosuite 평균 성공률은 68%에서 81%, 양팔 핸드오버는 20%에서 92%로 높아졌다. BEHAVIOR-1K의 ‘이동해서 라디오 집기’는 56%에서 88%로 개선됐다.
  • LIBERO-90에서 얻은 스킬을 LIBERO-Pro Long에 추가 디버깅 없이 전이했을 때 라이브러리 크기가 커질수록 성공률이 증가했다. 실제 YAM 로봇 실험에서도 스킬을 제공하면 캔 집기 성공률이 13/20에서 19/20으로, 서랍 조작이 0/20에서 11/20으로 바뀌고 총 토큰 사용량도 줄었다.

왜 중요한가

  • 로봇 학습의 단위를 고정된 정책이나 과제별 프로그램 하나에서, 실패를 진단하고 재사용 가능한 수정으로 정제하는 절차 지식으로 확장한다.
  • 성능 향상에서 실행 흔적을 제공하고 수정 결과를 검증하는 실행 엔진의 기여가 컸다. 게시글의 LIBERO-Pro 분해 실험에서 기본 시스템 14%가 실행 엔진 추가 후 62%, 진화적 탐색 추가 후 72%가 됐다.
  • 다만 완전한 실세계 평생 학습 시스템은 아니다. 안전한 리셋·성공 탐지·모니터링·캘리브레이션, 프런티어 LLM 의존성, 고정된 원시 동작 API의 범위, 스킬 라이브러리의 검색·가지치기·재검증, 높은 계산 비용이 남은 과제다.

후속으로 볼 링크와 키워드

백링크