LLM Wiki

WANDR, 리서치 에이전트의 넓고 깊은 탐색 능력을 평가하는 벤치마크 (feat. Perplexity)

Properties2
descriptionPyTorchKR 9bow 게시글의 핵심 내용과 실무적 의미를 원문에 근거해 정리한다.
tagsai-models, open-source, research

6 min read

출처

개요

WANDR(Wide ANd Deep Research)는 Perplexity가 공개한 오픈 벤치마크이자 평가 하네스로, 경쟁사 조사·실사·문헌 조사·시장 분석·제품 비교·인재 소싱 등 실제 지식 업무를 반영한 500개 데이터 수집 과제로 구성됩니다. 이 벤치마크는 리서치 에이전트가 많은 대상(넓이)을 찾는 동시에 각 대상에 필요한 주장과 근거를 빠짐없이 수집하는지(깊이)를 평가합니다. 과제는 company → employee → url과 같은 자격 키 계층으로 표현되며, 각 경로는 검증 가능한 URL과 발췌문으로 끝납니다. 정답 목록 대신 인용된 페이지를 다시 가져와 주장·발췌문·요구사항의 일치 여부를 판정하고, 이를 정밀도·재현율·소프트/하드 F1으로 집계합니다. 500개 과제를 평가한 결과 넓고 깊은 리서치는 아직 해결되지 않은 문제로 나타났으며, 고노력 설정에서도 최고 시스템의 하드 F1은 0.224였습니다.

핵심 포인트

  • WANDR는 500개 과제와 총 170,495개의 근거 기반 레코드를 요구하며, 과제의 중앙값은 멤버 50개와 멤버당 레코드 4개입니다.
  • 과제는 평면 목록, 중첩 검색, 행렬, 다중 근거 분기 등을 표현할 수 있는 자격 키 계층(Qualification Key Hierarchy)으로 구성됩니다.
  • 채점은 고정된 정답지 대신 제출된 항목·URL·발췌문·답을 재검증하는 방식으로 수행되며, 소프트 점수는 불완전한 멤버에 부분 점수를 주고 하드 점수는 하위 트리 전체가 완성된 경우만 인정합니다.
  • 500개 과제 전체를 동일한 파이프라인으로 평가했을 때 Perplexity Search as Code가 소프트 F1 0.363, 하드 F1 0.133으로 가장 높았고, Anthropic이 각각 0.249와 0.072로 뒤를 이었습니다.
  • 45개 과제 부분집합에서 고노력 xhigh 설정을 사용한 Perplexity는 소프트 F1 0.447, 하드 F1 0.224를 기록했지만, 노력 증가가 모든 시스템에서 일관되게 성능 향상으로 이어지지는 않았습니다.
  • 주요 병목은 중복 제거보다 충분한 대상 자체를 발견하지 못하는 데 있었으며, 발견 완수율은 정보 보강이나 말단 근거 슬롯의 완수율보다 낮았습니다.
  • 쓸 만한 페이지를 찾는 것보다 그 페이지가 주장 전체를 충분히 뒷받침하는 완전한 근거를 구성하는 일이 더 어려웠고, 과제 규모와 계층 깊이가 커질수록 하드 정밀도와 재현율이 크게 하락했습니다.

왜 중요한가

WANDR는 리서치 에이전트 평가의 기준을 그럴듯한 장문 보고서 작성에서 대규모 항목 집합의 완전성과 검증 가능성으로 확장합니다. 특히 발견, 정보 보강, 신원 처리, 페이지 자격 판정, 근거 추출 중 어느 단계에서 성능이 손실되는지 계층별로 진단할 수 있다는 점이 중요합니다. 결과는 현재 에이전트가 일부 항목을 정확히 조사하는 능력은 보이지만, 많은 항목을 빠짐없이 수집하고 각 항목에 완전한 근거를 연결하는 능력은 아직 제한적임을 보여줍니다. 또한 WANDR의 구조화된 판정은 검색·팬아웃·필터링·조인·중복 제거·복구 전략을 개선하거나, 발견과 보강 과정에 부분 보상을 제공하는 강화학습 평가에 활용될 가능성을 제시합니다.

후속 링크 및 키워드

관련 위키

원문 보존 위치

원문 전체는 2026-07-25-pytorchkr-topic-11371-wandr-feat-perplexity에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크