개요
SWE-bench(Jimenez 외, arXiv:2310.06770)는 언어모델이 실제 GitHub 이슈를 해결할 수 있는지 평가하는 벤치마크다. 합성 문제가 아니라 실제 오픈소스 저장소의 이슈를 가져와, 저장소 전체 맥락 이해·코드 수정·실행 환경 구성·긴 컨텍스트 처리·복합적 추론을 동시에 요구한다.
핵심 특징
- 평가 단위가 “그럴듯한 답변”이 아니라 실제로 이슈가 해결됐는지(연관된 테스트 통과 여부)다.
- 저장소 규모와 실제 코드베이스 맥락을 그대로 유지해, 벤치마크가 실제 소프트웨어 엔지니어링 작업의 난이도를 반영하도록 설계했다.
왜 중요한지
“최종 결과는 트랜스크립트가 아니라 테스트/서브셋/시간 한계로 실제 과제 해결 여부를 판정해야 한다”는 원칙은 loop-engineering의 설계 원칙 1번(“정지 조건을 먼저 쓴다”)과 직접 연결된다. SWE-bench는 오늘날 코딩 에이전트(2026-07-18-swe-agent-agent-computer-interfaces 포함)의 사실상 표준 평가 지표로 자리잡았고, 이후 등장한 대부분의 코딩 에이전트 하네스 논문(예: 2026-05-24-agent-harness-engineering-survey)이 이 벤치마크를 기준점으로 인용한다.