정의
이 페이지는 LLM이 원하는 방향으로 행동하도록 만드는 사후학습·자가개선 접근법 중 위키에서 개별 개념 노트로 다루는 세 가지 — RSI, RLHF, RLVR — 을 한 프레임에서 비교한다.
이 셋은 서로 배타적인 대안이 아니라 다른 층위의 이야기다:
- RLHF / RLVR은 모델이 “무엇을 보상 신호로 삼아 학습하는가”에 가깝다(인간 선호 vs 검증 가능 정확도).
- RSI는 모델이 “자신의 개선 과정(코드·하네스· 평가기)을 스스로 고치는 재귀 루프” 자체를 말한다. 보상 신호의 종류는 RSI 바깥의 문제이며, RLHF 보상과 RLVR 보상 모두 RSI 루프의 evaluator로 쓰일 수 있다.
관련: rlhf · rlvr · recursive-self-improvement
세 접근법 한 줄 비교
| 축 | RLHF | RLVR | RSI |
|---|---|---|---|
| 핵심 질문 | 모델을 인간 선호에 정렬하려면? | 모델을 검증 가능 정답으로 강화하려면? | 시스템이 스스로를 개선하는 재귀 루프를 만들려면? |
| 보상/신호 | 인간 선호 수집 → 보상 모델(또는 선호 최적화) | 정답 검증 가능 태스크의 규칙 기반 보상 | evaluator 설계가 중심(형식 검증기, 벤치마크, judge 등); 보상 신호 자체는 바깥에서 정함 |
| 북극성(north star) | 인간 선호, 보조(assistance) | 순수 정확도(log error rate of correctness) | 검증된 개선을 실제 쇼잉(실제로 나아지고 그것을 보일 수 있는 루프) |
| 전형적 적용 | 대화·프롬프트 응답·인간-루프 보조 정렬 | 수학·코드·논리 퍼즐 등 검증 가능한 과업 | 하네스·프롬프트·search policy· evaluator 공동 진화가 일어나는 배포 시스템 |
| 대표 한계 | 과대약속·보상 비대칭·참여도 최적화 귀결; 자동화 과업에 부적합 | 검증 가능한 태스크로 영역이 제한됨; 대화·선호 영역에는 단독 부족 | 약한 evaluator로 강한 주장을 하면 self-confirming loop·reward hacking·collapse; governance-grade 측정이 부족 |
| 위키 핵심 소스 | [[summaries/2026-09-20-diogo-almeida-after-rlhf | RLHF 이후 무엇이 오는가 — Diogo Almeida]] | [[summaries/2026-08-07-pytorchkr-topic-11549-liquid-ai-lfm2-5-2-6b |
세 접근법을 개별 개념 노트로 더 자세히 정리한 것은 아래 개별 노트를 참조한다.
- rlhf — 인간 피드백 기반 강화학습(RLHF) 개념 노트
- rlvr — 검증 가능 보상 기반 강화학습(RLVR) 개념 노트
- recursive-self-improvement — 재귀적 자기개선(RSI) 개념 노트
RLHF와 RLVR은 보상 축의 대비, RSI는 루프 층위의 이야기
RLHF vs RLVR은 “보상의 출처와 판정 방식”을 기준으로 한 대비다(rlhf · rlvr):
- RLHF: 인간 선호를 모으고, 보상 모델을 학습하고, 그 보상에 대해 정책을 최적화한다. 북극성은 인간 선호/보조. 한계는 과대약속·보상 비대칭·참여도 최적화 귀결.
- RLVR: 정답이 자동으로 검증 가능한 태스크(수학·코드·논리 퍼즐 등)의 규칙 기반 보상을 쓴다. 북극성은 순수 정확도. 장점(자동 판정·주관성 제거)과 한계(검증 가능한 영역으로 제한)가 뚜렷하다.
RSI는 보상의 출처보다 “무엇을, 어떤 evaluator로, 얼마나 닫힌 루프로 개선하느냐” 가 중심이다(recursive-self-improvement):
- 개선 대상 층: (1) 배포 중 행동 교정, (2) 학습으로 정책 갱신, (3) 평가기 자체 개선, (4) 연구 과정 자동화. 아래로 갈수록 야심차고 검증이 어렵다.
- evaluator 계층(verification hierarchy): formal verifier > task-grounded test > held-out benchmark > LLM judge/PRM > intrinsic self-assessment. 강한 verifier가 있는 영역에서만 실증된 자가개선 진전이 뚜렷하다.
- RLHF 보상(인간 선호)은 이 계층에서 상대적으로 약한·fuzzy한 evaluator 쪽이며, RLVR 보상(검증 가능 정확도)은 task-grounded test / held-out benchmark에 가까운 강한 축에 가깝다.
즉 RSI 루프를 만들 때는 “어떤 보상/ evaluator로 루프를 닫을지” 가 핵심 설계 질문이고, 그 선택지로 RLHF 스타일과 RLVR 스타일이 모두 나타날 수 있다. 단, RLHF를 evaluator로 쓰면 약하고 fuzzy한 신호로 강한 자가개선 주장을 하게 될 위험이 있어 주의가 필요하다(recursive-self-improvement).
언제 무엇을 쓰나 (선택 가이드)
1. 인간의 주관적 선호·대화 품질·보조 UX가 목표라면
- RLHF 계열(선호 수집 + 보상 모델/PPO, 또는 DPO 계열 선호 최적화)을 우선 본다.
- 다만 RLHF의 한계(과대약속·보상 비대칭·자동화 부적합)를 인지해야 하며, 자동화가 목표라면 다른 접근을 함께 검토한다.
- 참고: rlhf · RLHF 이후 무엇이 오는가 — Diogo Almeida
2. 정답 검증이 가능한 과업(수학·코드·논리 퍼즐·테스트 통과 등)의 정확도 향상이 목표라면
- RLVR 계열(검증 가능 보상 + GRPO 등)을 우선 본다.
- RLVR은 검증 가능한 영역으로 제한되므로, 대화·선호·장기 가치 영역에는 단독으로는 부족하다.
- 참고: rlvr · Liquid AI LFM2.5 2.6B · Unsloth Gemma 4 RL Sudoku
3. “시스템이 스스로 개선하게” 만드는 재귀 루프가 목표라면
- 우선 평가기를 먼저 설계한다. 약한 evaluator로 강한 주장을 하면 self-confirming loop로 빠진다.
- 가까운 경로는 모델 가중치보다 먼저 하네스·프롬프트·context·search policy· evaluator에서 개선이 온다( deployment system / harness가 먼저 최적화되는 방향).
- 재귀 루프의 개선 대상 층과 evaluator 계층을 의식해, 루프 바깥에 둘 것(evaluator·권한·보안 경계)과 루프 안에서 좁게 허용할 것(editable surface)을 분리한다.
- 참고: recursive-self-improvement · harness · loop-engineering
4. RLHF도 RLVR도 아닌 방향이 필요하다면
- RLHF(인간 선호)와 RLVR(정확도) 외에 제3의 최적화로 “보정된 의사결정(calibrated decision-making)“이 제시된다( TypeSafe 방향). 생성형 답변보다 형식화된 판단+확신도로 결정을 처리하려는 접근이다.
- 참고: RLHF 이후 무엇이 오는가 — Diogo Almeida
RLHF → RLVR → 제3의 최적화라는 흐름 읽기
Diogo Almeida 강연의 프레임(RLHF 이후 무엇이 오는가 — Diogo Almeida):
- RLHF는 “인간을 루프에 넣고 그 인간을 기쁘게” 하도록 설계된 것이므로, 보조(assistance)에는 강하지만 자동화(automation)에는 맞지 않는다.
- RLHF 이후의 갈래 중 하나가 RLVR(정확도 최적화).
- 또 다른 갈래가 제3의 최적화(보정된 의사결정). RLHF도 RLVR도 아니며, 결정의 형태 자체를 바꾸는 방향.
- “내일의 AI는 자동화용이 될 것”이라는 주장과 맞물려, 인간 선호 최적화로 얻는 보정된 확신만으로는 자동화 과업에 충분하지 않다는 문제의식으로 읽는다.
이 세 접근법이 위키에서 서로 연결되는 방식
- RLHF ↔ RLVR: 보상 신호· 북극성·적용 과업·한계에서 직접 대비된다. 각각 개별 개념 노트(rlhf · rlvr)에 상세.
- RLHF/RLVR ↔ RSI: RSI 루프의 evaluator 설계에서 RLHF 보상과 RLVR 보상이 서로 다른 검증 강도로 쓰일 수 있다. RSI 노트의 evaluator 계층·개선 대상 층에서 이 대비를 다룬다(recursive-self-improvement).
- RSI ↔ 하네스·루프 엔지니어링: RSI의 가까운 경로가 배포 시스템·하네스 최적화라는 점은 harness · loop-engineering과 연결된다.
관련 노트
- rlhf — RLHF 개념 노트
- rlvr — RLVR 개념 노트
- recursive-self-improvement — RSI 개념 노트
- harness — 에이전트 하네스 개념 (RSI 섹션 포함)
- loop-engineering — 반복 시스템 설계 원칙·정지 조건·검증 게이트
- moc-ai-models — 모델·사후학습·벤치마크 상위 MOC (사후 정렬 개념 섹션 포함)
- RLHF 이후 무엇이 오는가 — Diogo Almeida — RLHF·RLVR·제3의 최적화 정리(1차 소스 요약)