개요
Reflexion(Shinn 외, arXiv:2303.11366)은 언어모델 에이전트가 실패를 겪은 뒤 가중치를 갱신하지 않고도 스스로 개선하도록 만드는 방법이다. 강화학습의 보상 신호를 파라미터에 반영하는 대신, 과제 실패에 대한 자연어 피드백을 “언어적 강화” 신호로 취급해 에피소드 메모리에 저장한다.
핵심 메커니즘
- 에이전트가 과제를 시도하고 실패하면, 무엇이 잘못됐는지 성찰(reflect)한 텍스트를 생성한다.
- 이 반성문은 다음 시도의 프롬프트 컨텍스트(에피소드 메모리)에 포함되어, 같은 실수를 반복하지 않도록 유도한다.
- 파인튜닝 없이 프롬프트 레벨에서만 동작하므로 비용이 낮고 즉시 적용 가능하다.
왜 중요한지
“피드백과 반성이 다음 시도를 위한 구조화된 상태가 되어야 한다”는 원칙은 loop-engineering이 강조하는 “상태를 대화 밖에 두고 다음 스텝에 투입”과 정확히 같은 설계다. 2026-07-18-react-reasoning-acting이 행동→관찰의 루프를 정의했다면, Reflexion은 그 루프에 “실패를 언어로 저장하는 메모리 계층”을 얹은 것으로 볼 수 있다. 2026-07-18-self-refine과 함께 파라미터 갱신 없는 test-time 자기개선 계열의 대표 논문이다.