출처
- source_url: https://news.hada.io/topic?id=31075
- author: xguru
- published: 2026-07-03
- raw: raw source:
web-2026-07-03-senior-swe-bench-agent-evaluation-benchmark
요약
Senior SWE-Bench는 코딩 에이전트가 실제로는 시니어 엔지니어처럼 활용되는데도 평가는 과도하게 정리된 주니어용 과제로 이뤄지는 간극을 좁히려는 벤치마크다. Snorkel AI가 공개했으며, 과제는 라이브러리부터 다중 서비스 애플리케이션까지 여러 저장소에서 수백 개 커밋을 작성한 엔지니어의 실제 PR을 소재로 삼는다. posthog(8개), electric·gitea(각 6개), better-auth·harbor(각 4개) 등 다양한 저장소에서 공개 과제 50개, 비공개 과제 50개를 구성했다.
과제는 크게 두 유형이다. 기능 과제는 세분화된 요구사항 목록 대신 자연어 메시지처럼 읽히는 현실적인 지시사항을 쓰고(지시문 길이 중앙값이 SWE-Bench Pro의 31% 수준), 제출된 해법에 맞춰 행동 테스트를 새로 작성하는 **검증 에이전트(validation agent)**를 도입해 평가 신뢰성을 높였다. 버그·성능 과제는 사용자 리포트에서 출발해 서비스 실행, 로그 확인, 프로파일링, 재현 절차 추적 같은 런타임 조사를 요구하는 PR에서 가져왔다.
채점은 런타임 정합성 테스트에 코드베이스 관행 기반 품질 지표를 더한 tasteful solve 개념을 쓴다. solve로 인정되려면 Verifiers pass, Validation pass, Rubric > 0.5, Bloat < 2배, Practice > 2/5, Rel. taste > 2/5 조건을 모두 충족해야 한다. 리더보드(Tasteful solve rate, pass@1) 최상위는 Claude Opus 4.8·Mini-SWE-Agent max 조합의 **24.0%**였고, Claude Sonnet 5(19.4%), GPT-5.5(16.0%), Claude Opus 4.7(14.1%), GPT-5.4(14.0%), GLM-5.2(12.5%), Kimi K2.6(8.2%) 순으로 이어졌다. 가장 강한 최전선 모델조차 시니어 수준의 정합성과 taste를 갖춘 과제의 75% 이상을 완료하지 못했으며, 기능 과제는 평균 11개 파일을 건드리고 수백 단계의 작업 흐름을 요구하도록 설계됐다.
Hacker News 코멘트에서는 벤치마크의 시간에 따른 관련성 유지 문제(오픈소스 학습 데이터 오염 가능성), Opus 4.8과 GPT-5.5의 체감 성능 차이에 대한 엇갈린 의견, “make no mistakes” 같은 시스템 프롬프트 문구의 실효성 논쟁 등이 오갔다.
관련 위키
원문 보존 위치
원문 전체는 raw source: web-2026-07-03-senior-swe-bench-agent-evaluation-benchmark에 source_url과 함께 저장되어 있다.