정의
RLVR(Reinforcement Learning with Verifiable Rewards, 검증 가능 보상 기반 강화학습) 는 보상(reward)을 인간의 주관적 선호 수집이 아니라, 정답을 자동으로 검증 가능한 태스크의 규칙으로 정의하는 사후학습(post-training) 접근법이다. 대표적으로 수학 문제 정답 일치, 코드 테스트 통과 여부, 논리 퍼즐의 상태 도달처럼 “답이 맞았는지”를 프로그램적으로 판정할 수 있는 영역이 여기에 해당한다.
핵심 한 줄(Diogo Almeida): RLVR은 순수 정확도의 로그 오율(log error rate of pure correctness)을 최적화한다. RLHF가 인간 선호를 최적화하는 것과 대비된다(RLHF 이후 무엇이 오는가 — Diogo Almeida).
관련: rlhf · recursive-self-improvement
RLHF와의 대비
| 축 | RLHF | RLVR |
|---|---|---|
| 보상 신호 | 인간 선호 수집(비교/순위) → 보상 모델(또는 DPO 계열 선호 최적화) | 정답 검증이 가능한 규칙 기반 보상(수학 맞다/틀리다, 테스트 통과/실패 등) |
| 최적화 목표 | 인간 선호, 보조(assistance) | 순수 정확도(log error rate of correctness) |
| 강한 과업 유형 | 대화·프롬프트 응답·인간-루프 보조 | 수학·코드·논리 퍼즐 등 검증 가능한 태스크 |
| 주요 이슈 | 과대약속·환각·보상 비대칭·참여도 최적화 귀결 | 검증 가능한 태스크로 영역이 제한됨 |
즉 RLHF는 “인간을 기쁘게 하는 쪽”으로, RLVR은 “맞았는지 틀렸는지가 확실한 쪽”으로 보상이 설정된다. 둘은 같은 사후학습이라도 북극성이 다르다(RLHF 이후 무엇이 오는가 — Diogo Almeida).
대표 적용 패턴
위키에 정리된 사례에서 보이는 RLVR의 흔한 쓰임새:
- 도메인별 전문가 학습 후 통합: 공유 SFT 체크포인트에서 갈라져, 지시 따르기·수학·지식(환각 억제)·코드·도구 사용·긴 컨텍스트 등 각 도메인 전문가를 RLVR로 학습한 뒤 하나로 통합(MOPD 등)하는 패턴(Liquid AI LFM2.5 2.6B).
- 실습·데모용 태스크: 스도쿠처럼 정답 검증이 명확한 환경을 reward function으로 묶고 GRPO 등을 써서 모델이 스스로 더 나은 답을 찾게 하는 흐름. “verifiable reward가 왜 실전에서 강력한지”를 감으로 익히는 예제로 정리된다(Unsloth Gemma 4 RL Sudoku).
- 추론 모델의 사후훈련 맥락: 추론(reasoning) 모델이 나온 뒤 RLVR을 시켰다는 언급이 관련 대담 정리에도 등장한다(2026-09-12 AI Frontier EP114).
부가 맥락: RLVR은 GRPO, IF-RLVR 부분집합(Dolci-Think-RL-7B), 하네스 프록시(Harness Proxy / TITO)를 통한 블랙박스 에이전트 궤적 수집·검증 등과 함께 언급되는 경우가 있다(Liquid AI LFM2.5 2.6B).
RLVR의 위치와 한계
- 장점: 보상이 주관적이지 않고 자동 판정되므로, “무엇이 맞았는지”에 대한 판단이 비교적 명확하다. RLHF의 과대약속·보상 비대칭 문제에서 상대적으로 자유로울 가능성이 있다.
- 한계: 애초에 정답 검증이 가능한 태스크로 영역이 제한된다. 대화·선호·미적 판단·장기 가치처럼 자동 검증기가 없는 영역에서는 RLVR만으로는 충분하지 않다.
- evaluator 계층 관점에서: RSI 서베이가 제시한 verification hierarchy(formal verifier > task-grounded test > held-out benchmark > LLM judge/PRM > intrinsic self-assessment)에서 RLVR은 “task-grounded test / held-out benchmark”에 가까운 강한 검증 축에 속한다. 강한 verifier가 있는 영역에서만 자가개선 진전이 뚜렷하다는 관찰과 맞닿는다(recursive-self-improvement).
분류·정리 메모
- 이 노트는 개념 개념(concept) 페이지로, RLVR 자체의 정의와 RLHF와의 대비, 대표 적용 패턴을 정리한다.
- RLVR이 등장하는 소스별 요약·사례는 개별 요약 노트(Liquid AI LFM2.5 2.6B, Unsloth Gemma 4 RL Sudoku 등)에 남겨둔다.
- RLHF와의 대비와 “제3의 최적화(보정된 의사결정)“는 rlhf 및 RLHF 이후 무엇이 오는가 — Diogo Almeida에서 함께 다룬다.
관련 노트
- post-training-alignment — LLM 사후 정렬·자가개선 접근법 (RSI / RLHF / RLVR) 상위 페이지
- rlhf — 인간 피드백 기반 강화학습 개념 노트(RLVR의 대비 대상)
- recursive-self-improvement — RSI(자가개선) 개념 노트; RLVR이 위치한 evaluator/verification 계층 포함
- RLHF 이후 무엇이 오는가 — Diogo Almeida — RLHF·RLVR·제3의 최적화(보정된 의사결정) 정리
- Liquid AI LFM2.5 2.6B — RLVR을 도메인별 전문가 사후학습에 쓴 사례
- Unsloth Gemma 4 RL Sudoku — 검증 가능 보상 + GRPO 실습 예제