정의

RLVR(Reinforcement Learning with Verifiable Rewards, 검증 가능 보상 기반 강화학습) 는 보상(reward)을 인간의 주관적 선호 수집이 아니라, 정답을 자동으로 검증 가능한 태스크의 규칙으로 정의하는 사후학습(post-training) 접근법이다. 대표적으로 수학 문제 정답 일치, 코드 테스트 통과 여부, 논리 퍼즐의 상태 도달처럼 “답이 맞았는지”를 프로그램적으로 판정할 수 있는 영역이 여기에 해당한다.

핵심 한 줄(Diogo Almeida): RLVR은 순수 정확도의 로그 오율(log error rate of pure correctness)을 최적화한다. RLHF가 인간 선호를 최적화하는 것과 대비된다(RLHF 이후 무엇이 오는가 — Diogo Almeida).

관련: rlhf · recursive-self-improvement

RLHF와의 대비

축RLHFRLVR
보상 신호인간 선호 수집(비교/순위) → 보상 모델(또는 DPO 계열 선호 최적화)정답 검증이 가능한 규칙 기반 보상(수학 맞다/틀리다, 테스트 통과/실패 등)
최적화 목표인간 선호, 보조(assistance)순수 정확도(log error rate of correctness)
강한 과업 유형대화·프롬프트 응답·인간-루프 보조수학·코드·논리 퍼즐 등 검증 가능한 태스크
주요 이슈과대약속·환각·보상 비대칭·참여도 최적화 귀결검증 가능한 태스크로 영역이 제한됨

즉 RLHF는 “인간을 기쁘게 하는 쪽”으로, RLVR은 “맞았는지 틀렸는지가 확실한 쪽”으로 보상이 설정된다. 둘은 같은 사후학습이라도 북극성이 다르다(RLHF 이후 무엇이 오는가 — Diogo Almeida).

대표 적용 패턴

위키에 정리된 사례에서 보이는 RLVR의 흔한 쓰임새:

  • 도메인별 전문가 학습 후 통합: 공유 SFT 체크포인트에서 갈라져, 지시 따르기·수학·지식(환각 억제)·코드·도구 사용·긴 컨텍스트 등 각 도메인 전문가를 RLVR로 학습한 뒤 하나로 통합(MOPD 등)하는 패턴(Liquid AI LFM2.5 2.6B).
  • 실습·데모용 태스크: 스도쿠처럼 정답 검증이 명확한 환경을 reward function으로 묶고 GRPO 등을 써서 모델이 스스로 더 나은 답을 찾게 하는 흐름. “verifiable reward가 왜 실전에서 강력한지”를 감으로 익히는 예제로 정리된다(Unsloth Gemma 4 RL Sudoku).
  • 추론 모델의 사후훈련 맥락: 추론(reasoning) 모델이 나온 뒤 RLVR을 시켰다는 언급이 관련 대담 정리에도 등장한다(2026-09-12 AI Frontier EP114).

부가 맥락: RLVR은 GRPO, IF-RLVR 부분집합(Dolci-Think-RL-7B), 하네스 프록시(Harness Proxy / TITO)를 통한 블랙박스 에이전트 궤적 수집·검증 등과 함께 언급되는 경우가 있다(Liquid AI LFM2.5 2.6B).

RLVR의 위치와 한계

  • 장점: 보상이 주관적이지 않고 자동 판정되므로, “무엇이 맞았는지”에 대한 판단이 비교적 명확하다. RLHF의 과대약속·보상 비대칭 문제에서 상대적으로 자유로울 가능성이 있다.
  • 한계: 애초에 정답 검증이 가능한 태스크로 영역이 제한된다. 대화·선호·미적 판단·장기 가치처럼 자동 검증기가 없는 영역에서는 RLVR만으로는 충분하지 않다.
  • evaluator 계층 관점에서: RSI 서베이가 제시한 verification hierarchy(formal verifier > task-grounded test > held-out benchmark > LLM judge/PRM > intrinsic self-assessment)에서 RLVR은 “task-grounded test / held-out benchmark”에 가까운 강한 검증 축에 속한다. 강한 verifier가 있는 영역에서만 자가개선 진전이 뚜렷하다는 관찰과 맞닿는다(recursive-self-improvement).

분류·정리 메모

관련 노트