출처
- source_url: https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- author: Anthropic
- published: (원문 발행일 미기재, ingested 2026-07-02)
- raw: raw source:
web-2026-07-02-anthropic-demystifying-evals-for-ai-agents
요약
이 raw 노트는 Anthropic의 “Demystifying Evals for AI Agents” 글에서 에이전트 평가에 쓰이는 핵심 용어를 구분해 정리한 위키용 캡처다. 원문은 평가 설계를 명확히 하기 위해 다음 개념들을 구분한다. **태스크(task)**는 에이전트가 시도하는 시나리오나 사용자 요청이고, **트라이얼(trial)**은 그 태스크에 대한 에이전트의 한 번의 실행이다. 트랜스크립트/트레이스는 실행 중 모델-도구 상호작용을 단계별로 기록한 것이며, **아웃컴(outcome)**은 트라이얼이 끝난 뒤 환경에 남은 최종 상태를 가리킨다.
원문의 항공권 예약 예시는 이 구분이 왜 중요한지 보여준다. 에이전트가 “예약이 완료됐다”고 말하는 것과, 실제로 데이터베이스에 예약 레코드가 존재하는지는 별개라는 것이다. **그레이더(grader)**는 이 아웃컴이나 다른 기록된 증거를 채점하는 주체이고, **평가 하네스(evaluation harness)**는 지시사항·도구 제공부터 태스크 실행, 단계 기록, 출력 채점, 결과 집계까지 평가 전체를 엔드투엔드로 돌리는 시스템이다. 이와 별개로 에이전트 하네스/스캐폴드는 모델이 에이전트로 행동하게 해주는 시스템 자체로, 입력을 처리하고 도구 호출을 오케스트레이션하며 결과를 반환한다. 즉 에이전트를 평가한다는 것은 모델과 하네스를 함께 평가하는 일이라는 점을 강조한다.
노트는 이를 Loop Engineering 실무 함의로 연결해, 에이전트의 최종 발화를 품질 판단 기준으로 삼지 말고 가능하면 환경에 근거한 아웃컴 검사를 우선해야 하며, 트랜스크립트·트레이스는 진단과 부차적 행동 지표로만 쓰고 최종 아웃컴 채점을 대체해서는 안 된다고 정리한다.
관련 위키
원문 보존 위치
원문 전체는 raw source: web-2026-07-02-anthropic-demystifying-evals-for-ai-agents에 source_url과 함께 저장되어 있다.