개요
Tree of Thoughts(Yao 외, arXiv:2305.10601)는 LLM의 추론을 하나의 선형 체인이 아니라 트리 탐색으로 프레이밍한다. 각 노드는 문제 해결 과정의 중간 “사고(thought)” 단위이며, 여러 후보 사고를 생성하고, 평가하고, 유망한 가지를 탐색하고, 막힌 가지는 백트래킹으로 포기한다.
핵심 메커니즘
- 생성: 현재 상태에서 여러 개의 다음 사고 후보를 만든다.
- 평가: 각 후보가 목표에 얼마나 가까운지 모델 스스로 채점하거나 투표한다.
- 탐색/백트래킹: BFS/DFS 같은 탐색 전략으로 유망한 가지를 우선 확장하고, 막다른 가지는 되돌아간다.
왜 중요한지
체인 하나만 밀어붙이는 chain-of-thought와 달리, 여러 후보를 만들고 비교하는 방식은 품질을 높이지만 토큰·비용이 가지 수만큼 늘어난다는 트레이드오프가 있다. loop-engineering의 설계 원칙 5번(“비용과 권한을 루프의 일부로 다룬다”)이 정확히 이 지점을 짚는다 — 탐색을 허용하려면 반드시 가지치기(pruning)와 예산 상한을 함께 설계해야 한다. 여러 후보안을 만들어 별도 심사자가 비교하는 오늘날의 “판단 패널(judge panel)” 패턴도 이 논문의 생성-평가-탐색 구조를 계승한다.