LLM Wiki

Feedback Distillation: LLM 피드백 증류로 Lean 정리 증명 학습하기 (feat. Meta FAIR)

Properties2
descriptionFeedback Distillation은 Meta FAIR와 Inria, Sorbonne Université 연구진이 제안한 LLM 사후학습 기법이다.
tagsai-agents, research

5 min read

출처

개요

Feedback Distillation은 Meta FAIR와 Inria, Sorbonne Université 연구진이 제안한 LLM 사후학습 기법이다. 모델이 생성한 증명 시도에 대해 더 강한 LLM이 자연어 피드백을 주고, 그 피드백이 반영된 교사 분포와 학생 분포의 토큰별 KL 발산을 최소화하며 증류한다. Lean 4 정리 증명 환경에서 Qwen3.5-9B는 GRPO 단독 대비 pass@1 정확도를 59%에서 75%로 높였다. 교사 가중치는 EMA로 주기적으로 갱신하고, 계산 효율을 위해 어휘 상위 25개 토큰으로 KL을 절단한다. 저자들은 학습 불안정성과 대규모 기존 파이프라인 대비 성능 격차를 미해결 과제로 밝힌다.

핵심 포인트

  • 피드백 증류 메커니즘: 학생 모델의 시도 y에 대해 피드백 모델이 실행 가능한 조언 1~3개를 생성하고, 이를 조건화한 교사 분포와 학생 분포 간 토큰별 KL 손실을 최소화한다. GRPO처럼 궤적 전체에 하나의 보상을 주는 대신 각 토큰 위치에 세밀한 지도 신호를 제공한다.
  • EMA 교사 갱신과 Top-K 절단: 5 스텝마다 \mu <- \alpha\mu + (1-\alpha)\theta EMA로 교사를 갱신해 moving target 문제를 완화한다. 어휘 전체 KL 대신 상위 K=25 토큰으로 절단해 계산 비용을 줄인다.
  • Lean 4 실험 결과: GRPO 단독 pass@1 59%에서 Feedback Distillation으로 초기화한 뒤 GRPO를 이어 학습하면 75%로 향상된다. 높은 정책 엔트로피를 유지해 pass@k 확장성과 사용 tactic/보조정리 발견 속도에서도 GRPO를 앞선다.
  • 피드백 출처와 Self-Feedback: 외부 모델(Claude) 피드백이 ground-truth 정답 풀이보다 높은 엔트로피를 유도했고, 컴파일러 출력보다 우수했다. 학생과 동일 모델의 동결 복사본을 피드백 모델로 쓰는 Self-Feedback Distillation도 GRPO 단독보다 나은 성능을 보였다.
  • 피드백 내재화 증거: 피드백을 고정 문자열로 둔 실험에서 KL 발산이 0으로 수렴하고 응답 길이가 피드백에 맞게 변해, 학습 후 가중치 안에 피드백이 실제 내재화됨을 확인했다.

왜 중요한가

  • 기존 SFT+GRPO 파이프라인의 약점인 치명적 망각, mode collapse, trajectory-level 희소 보상을 피하면서, 강한 외부 모델 없이 자기 피드백만으로도 학습 신호를 얻을 수 있다. 넓은 탐색 공간을 가진 형식 수학에서 높은 다양성이 성공 확률을 직접 높이므로, 모델의 자기 성찰 능력을 가중치에 녹이는 효율적인 경로를 제시한다.

참고 링크 / 키워드

원문 보존 위치

원문 전체는 raw source: web-2026-07-02-pytorchkr-topic-10484-feedback-distillation-lean-theorem-proving-meta-fair에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크