출처: https://x.com/analogalok/status/2102006741193957839 (Alok). 논문 링크와 추가 데이터는 답글에 있다고 했으나 수집본에는 없다. 아래 수치는 게시물의 차트 해설을 옮긴 것이다.
개요
게시물은 UC Berkeley와 Arena가 낸 “Harness Tax” 연구를 소개한다. SWE-bench Lite와 Terminal-Bench 2.0에서 모델·에이전트 쌍 21개를 비교했다. 모델은 Claude Fable 5, GPT-5.6 Sol, Claude Opus 4.8, Sonnet 4.6, Kimi K3이고, 하네스는 Claude Code, codex CLI, 그리고 최소 오픈소스 하네스 Pi 세 가지다. 결론은 프런티어 모델이 75%의 경우 자사 하네스보다 Pi에서 더 잘했다는 것이다.
주장 수치
| 모델 | 자사 하네스 | Pi |
|---|---|---|
| GPT-5.6 Sol | Codex CLI 78.9%, 롤아웃당 $0.76 | 83.3%, $0.42 |
| Claude Fable 5 | Claude Code 97.8%, $1.33 | 96.7%, $0.67 |
원인: First Call Bloat
자사 코딩 에이전트는 긴 시스템 지시, 무거운 가드레일, 장황한 JSON 도구 스키마를 싣는다. 게시물에 따르면 Claude Code는 Pi보다 첫 호출 컨텍스트가 10배 크고, 이 무게를 매 턴 다시 낸다. Pi는 read·write·edit·bash 네 도구만 준다.
읽는 법
작성자의 결론은 “API 비용이 높으면 모델을 낮추지 말고 무거운 하네스를 버려라”다. 다만 SWE-bench Lite·Terminal-Bench는 짧은 단일 과제 위주라, 권한 관리·메모리·서브에이전트 같은 하네스 기능의 값어치는 측정되지 않는다. 원 논문을 확인하지 못해 confidence는 low로 둔다. 하네스 설계 논의는 harness와 moc-ai-agents-harness, Pi를 쓰는 사례는 2026-09-10-pi-agent-workbench에 있다.