정의

RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습) 는 사전학습된 언어모델을 인간의 선호(preference)에 정렬(alignment)시키기 위한 사후학습(post-training) 파이프라인이다. 전형적으로 (1) 인간 선호도 수집, (2) 보상 모델(reward model) 학습, (3) 보상 모델에 대한 정책 최적화(RL, 예: PPO)의 3단계로 작동한다.

오늘날 사용량 기준 사실상 거의 모든 상용 LLM이 어떤 형태로든 RLHF 계열 정렬을 거친다는 것이 이 노트의 기본 전제다(RLHF 이후 무엇이 오는가 — Diogo Almeida).

관련: recursive-self-improvement · rlvr

핵심 프레임: 보조(assistance) vs 자동화(automation)

RLHF를 이해할 때 중요한 구분은 이 파이프라인이 무엇을 최적화하도록 설계됐는가다.

  • RLHF의 북극성(north star)은 **인간 선호(human preference)**다. 즉 인간을 루프 안에 두고 그 인간을 기쁘게 하는 방향으로 모델을 학습시킨다.
  • 이 때문에 RLHF로 정렬된 모델은 인간과의 대화·보조(assistant) 과업에는 강하지만, 인간을 루프에서 제거해야 하는 자동화(automation) 과업(고객센터, 회계, QA, 데이터 입력 등)에는 근본적으로 맞지 않는다.
  • “모든 LLM이 인간을 루프에 요구하는 이유”는 버그가 아니라 **“우리가 말 그대로 루프 안에 넣었기 때문”**이라는 것이 이 관점의 한 줄 요약이다(RLHF 이후 무엇이 오는가 — Diogo Almeida).

RLHF 파이프라인

전형적인 3단계 구조:

  1. 인간 선호 수집(Collect Human Preferences)
    • 같은 프롬프트에 대한 복수 응답 간 비교/순위 데이터를 수집한다.
    • InstructGPT 계열에서 이 단계가 정립됐다.
  2. 보상 모델(Reward Model) 학습
    • 수집된 인간 선호를 예측하도록 보상 모델을 학습한다.
    • RLHF의 고전적 2단계이며, 실제 배포에서 총괄 보상 총괄에 쓰인다.
  3. 정책 최적화(Optimize for Human Preference)
    • 보상 모델에 대해 RL(예: PPO)로 정책을 최적화한다.
    • 또는 DPO(Direct Preference Optimization) 계열처럼 명시적 보상 모델 없이 선호 데이터에서 직접 정책을 최적화하는 접근법도 있다(선호 최적화/preference optimization).

RLHF의 한계와 “과대약속은 기능”

Diogo Almeida 강연이 제시하는 RLHF의 내재적 특성:

  • 과대약속은 기능이다(Overpromising is a feature). 보상 모델에 내재된 비대칭성 때문에, 모델이 모르는 것을 솔직히 말하는 쪽보다 확신에 차고 그럴듯하게 답하는 쪽이 선호될 수 있다.
  • 그 귀결로 틀려도 옳아 보이는 행동이 나타날 수 있고, RLHF 모델의 종착역은 참여도(engagement) 최적화에 가깝다.
  • 실측 예시로, AI 어시스턴트가 개발 시간을 20~40% 단축할 것이라는 전문가/개발자 추정과 달리 실제 관찰은 오히려 19% 더 걸렸다는 옛 Meta 연구 인용이 같은 맥락에 등장한다(RLHF 이후 무엇이 오는가 — Diogo Almeida).

RLHF 이후의 흐름: RLVR과 제3의 최적화

RLHF를 하나의 “시대”로 볼 때 그 다음은 크게 두 갈래 이상으로 나뉜다:

  • RLVR(Reinforcement Learning with Verifiable Rewards, 검증 가능 보상 기반 RL): 인간 선호가 아니라 순수 정확도(log error rate of correctness)를 최적화한다. 수학·코드·논리 퍼즐 등 정답 검증이 가능한 태스크에서 강하다(rlvr).
  • 보정된 의사결정(calibrated decision-making): TypeSafe가 제안한다고 소개되는 제3의 최적화. RLHF(인간 선호)도 RLVR(정확도)도 아니며, 생성형 답변보다 형식화된 판단+확신도로 결정을 처리하는 방향이다(RLHF 이후 무엇이 오는가 — Diogo Almeida).

분류·정리 메모

  • 이 노트는 개념 개념(concept) 페이지로, RLHF 파이프라인 자체와 그 설계 의도·한계·이후 흐름을 정리한다.
  • RLHF의 실증 사례·소스별 요약은 RLHF 이후 무엇이 오는가 — Diogo Almeida에 남겨둔다.
  • RSI(자가개선) 맥락에서 RLHF 보상 신호의 위치는 recursive-self-improvement에서 evaluator 계층과 함께 다룬다.

관련 노트