LLM Wiki

Harness-Bench 연구와 하네스 효과 오픈 프로젝트 지형

Properties2
descriptionHarness-Bench를 중심으로 하네스 효과 벤치마크 연구와 awesome list·안전 감사·라이브 비교 등 오픈 프로젝트를 정리.
tagsai-agents, open-source, harness, research, survey

22 min read

2026-07-11 현재 웹 1차 출처(arXiv·GitHub·프로젝트 사이트)를 직접 확인해 작성했다. 상위 노트: 2026-07-11-chatgpt-agent-harness-performance-research · 2026-05-24-agent-harness-engineering-survey · harness · moc-ai-agents-harness. 기존 대화 요약이 “1차 자료 확인 필요”로 남긴 Harness-Bench 항목은 이번에 1차 확인했다. 2차 정리(emergentmind·htek.dev)에서만 얻은 수치는 명시한다.

핵심 요지

“에이전트 성능 = f(모델, 하네스)” — 모델을 고정해도 하네스(컨텍스트·도구·상태·제약·권한·트레이싱·복구를 관리하는 실행 시스템 계층) 구성만 바꿔도 과제 완료·품질·효율·실패 양상이 크게 달라진다는 명제를 실증하는 벤치마크가 2026년에 집중됐다. 본 노트는 그 중심의 Harness-Bench를 직접 확인하고, 인접 벤치마크·안전 감사 연구와 오픈소스 프로젝트 지형을 묶는다. 이 흐름은 하네스 엔지니어링을 자기개선 경로로 보는 관점과 같은 방향에 있다.

Harness-Bench: 하네스 효과를 격리 측정하는 진단 벤치마크

  • 논문: “Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows”. Yilun Yao, Xinyu Tan, Chao-Hsuan Liu 외(초록 12인, 초두 3인 공동 1저자). arXiv:2605.27922, 2026-05-27 제출(16p, cs.AI, CC BY 4.0). arXiv · 프로젝트 · GitHub(Qihoo360 주관)
  • 하네스 정의(논문): 컨텍스트·도구·상태·제약·권한·트레이싱·복구를 관리하는 실행 시스템 계층. 기존 벤치마크는 실행을 추상화하거나, 완성된 에이전트 시스템을 통째로 비교하거나, 하네스를 고정해 두어 이 계층의 분산을 연구하기 어려웠다. Harness-Bench는 구성 수준(configration-level)의 하네스 효과를 진단한다.
  • 방법론 3단계: (1) 실사용 패턴 기반 과제를 완전 격리·재현 가능 샌드박스에 배치(결정적 상태, 자동 정답 생성, 크로스플랫폼 재현); (2) 공통 예산·타임아웃 아래 하네스별로 실행(트레이스·토큰·도구호출·아티팩트·메타데이터 캡처); (3) 가능한 곳은 결정적 오라클 채점, 정성 진단은 LLM 루브릭(라운드 전후 훅).
  • 규모(1차 확인): 106개 샌드박스 오프라인 과제 / 8 카테고리(15+12+11+22+13+7+14+12) / 5,194 실행 궤적. 과제는 현실성·해결가능성·오라크 확인가능성·무결성을 수동 검토했다.

하네스 간 성능 편차(핵심 수치)

6개 구성 가능 하네스(OpenClaw · ZeroClaw · NullClaw · Moltis · Hermes · NanoBot) × 8 모델(claude-opus-4.6, claude-sonnet-4.6, gemini-3.1-pro-preview, qwen3.6-plus, glm-5.1, kimi-k2.5, gpt-5.4, deepseek-v4-flash)의 완전 요인 설계.

하네스점수완료율
OpenClaw52.4%60.0%
ZeroClaw61.4%69.9%
NullClaw64.4%75.9%
Moltis68.8%78.4%
Hermes71.2%80.4%
NanoBot76.2%81.6%
  • 하네스 간 점수 폭 24.0 pp(52.4 → 76.2), 완료율 폭 21.6 pp(60.0 → 81.6). 기존 대화 요약의 “하네스별 52.4~76.2점”이 이에 해당한다(1차 확인 완료).
  • 강한 모델일수록 평균이 높고 하네스 의존 분산이 작고, 약한 모델일수록 하네스에 따른 편차가 크다(정성 기록; 모델×하네스 셀 단위 분산값은 공개되지 않음).
  • 평균 토큰 사용량: NanoBot 68.7K → NullClaw 175.1K(약 106.4K 차이). 턴 수: OpenClaw 약 5 → Hermes 22.6. “비용이 적게 드는 하네스”와 “점수가 높은 하네스”가 항상 같지 않다.
  • 코딩 전용 기준점인 Codex(모델 결합형)는 80.4% 점수 / 86.5% 완료율 / 86.1K 토큰 / 5턴으로, 구성형 최고 하네스(NanoBot 76.2%)보다도 높다.
  • 보안 검증 기준으로는 6개 하네스 모두 100% — 점수 차이는 보안 게이트 실패가 아니라 완료·프로세스 품질에서 비롯한다(채점 공식상 security_score=1이면 합산 점수는 outcome × process로만 결정 — GitHub 저장소 절 참조).

출처 구분: 점수·완료율·토큰·턴·실패 내역 비율은 emergentmind.com/topics/harness-bench의 논문 정리에서 가져온 2차 자료다. 그러나 위 표의 하네스명(OpenClaw·ZeroClaw·NullClaw·Moltis·Hermes·NanoBot)은 GitHub adapters/에서 실제 어댑터로 1차 확인했고, 채점 공식·프로세스 차원명(tool_use_appropriate·consistency·robustness)도 저장소에서 1차 확정했다(아래 GitHub 저장소 절). 미확정으로 남는 것은 모델×하네스 셀 단위 점수·분산값, 그리고 과제별 프로세스 수치 값뿐이다.

실행 정합성 실패(execution-alignment failures)

논문의 핵심 진단 단위. 에이전트 추론이 도구 피드백·작업공간 상태·증거·검증 가능한 산출물 계약에 결합돼 있는지(=정합성)를 본다. 결합이 풀리면 그럴듯한 추론이 실제 상태와 어긋난다. 실패 궤적의 분해(2차):

  • 계약·형식 위반 36.4% — 잘못된 JSON, 누락/잘못된 파일명, 오라클이 소비 못 함
  • 도구·복구 실패 24.6% — 도구 오류 무시 / 재시도 무효
  • 증거·그라운딩 14.6% — 조회한 출처가 주장을 뒷받침 못 함
  • 아티팩트 커밋 실패 11.1% — 푼 듯 보이나 파일 미작성/미보존
  • 상태·연속 실패 9.3% — 라운드 간 지속 진행 미보존

이는 loop-engineering가 말하는 “에이전트의 자기선언 done ≠ 환경에 남은 관찰 가능 outcome”을 벤치마크 수준에서 유형화한 것이다. 정합성 실패는 프롬프트 개선이 아니라 도구 결과·파일·증거·종료 계약 설계로 막아야 한다.

GitHub 저장소 — 어댑터·실행 모델·채점 공식(1차 확인)

본 연구의 구현체는 Qihoo360/harness-bench에 있다. 2026-07-11 기준 저장소 디렉터리·config/harness.example.yaml·README·리포 메타데이터를 직접 확인한 결과를 정리한다.

어댑터(1차, src/harnessbench/adapters/, base.py 제외 12개): openclaw · zeroclaw · nullclaw · moltis · hermes(엔트리 키 hermes_agent) · nanobot + nanoclaw · picoclaw · fairyclaw · codex · generic_cli · demo. 위 편차 표의 6 하네스명(OpenClaw·ZeroClaw·NullClaw·Moltis·Hermes·NanoBot)이 모두 실제 어댑터 파일로 존재해 이름이 1차로 확정됐다(2차 자료에서 가져온 이름이 저장소에서 인증된 셈). 저장소는 이 6개 외에도 picoclaw·nanoclaw·fairyclaw·codex·tinyclaw(generic_cli)를 추가로 지원해 논문 헤드라인의 6 하네스보다 더 많은 하네스를 갖춘다.

2단계 하네스 모델: --harness는 config/harness.yaml의 models: 아래 명명된 엔트리를 고른다. 각 엔트리가 adapter(실행 백엔드) + command + timeout_sec + sandbox + model + args를 가진다. 즉 “구성 가능 하네스”=엔트리(이름·명령·타임아웃·샌드박스·모델·인자)이고 “어댑터”=프레임워크 연동이라는 두 층이 있다. 예(1차, harness.example.yaml): moltis-local 엔트리 → moltis 어댑터, 기본 모델 qwen/qwen3.6-plus. codex-gpt-5.4-medium → codex 어댑터, 모델 gpt-5.4, model_reasoning_effort="medium". hermes-agent → hermes_agent 어댑터, use_usage_proxy: true.

파이프라인(cli.py → runner.py → adapters/): cli.py가 명령을 파싱해 과제/모델 설정을 로드하고 runner를 호출한다. runner.py가 (1) 과제별 sandbox 생성 → fixture를 sandbox/workspace로 복사 → 프롬프트 렌더 → task hooks 호출 → (2) 어댑터로 에이전트 실행 → (3) 오라클 채점 → (4) 프록시 트레이스 + 루브릭 LLM으로 프로세스 채점 → JSON으로 집계. 핵심 경로: sandbox(과제별 임시 디렉터리) · workspace(sandbox/workspace, 에이전트가 읽고 쓰는 작업공간) · state_dir(OpenClaw 상태, 기본 sandbox/.openclaw).

채점 공식(1차, combined_score = outcome_effective × process_effective × security_score):

  • security_score = security_gate(0/1 게이트, 기본 1)에서 매핑. **6 하네스 모두 보안 100%**라는 위 관찰이 곧 security_score=1이며, 따라서 합산 점수는 outcome × process로만 결정된다. 즉 편차 절의 “점수 차이는 보안 게이트 실패가 아니라 완료·프로세스 품질에서 비롯한다”는 공식이 직접 뒷받침한다.
  • process_effective = 3 루브릭 차원의 산술평균: tool_use_appropriate(도구 적절성) · consistency(레거시 키 flow_coherence, 흐름 일관) · robustness(레거시 키 error_handling, 오류 처리). → 프로세스 하위점수의 이름과 구조가 1차로 확정됐다(2차 자료에서 “수치가 보이지 않는다”로 남긴 부분을 정정). 다만 과제별 수치 값 자체는 README에 게시되지 않는다.
  • outcome_effective = oracle_grade.score_workspace(결정적 프로그램 검증)에 선택 quality를 융합. 융합식 (1-w)×outcome + w×quality, 기본 w=0이나 멀티모달 과제 008(image-recognize)·013(image-edit)은 w=0.9. (키 없으면 폴백 HARNESSBENCH_OUTCOME_LLM_WEIGHT=0.25.)

과제 구조·실행 제어(1차): 과제는 tasks/<task_id>/{task.yaml, prompt.txt|prompt_files(멀티턴), fixtures/, oracle_grade.py, hooks.py?}. ID 예: 001-file·007-session-memory·008-image-recognize·009-git-pr-merge·013-image-edit. 실행: run-task --task|--num --harness <entry> --mode demo|live; run-suite --from-task|--to-task|--from-num|--to-num(이력·재개); tasks(목록). 결과는 data_/results/<model_id>/<api_model_slug>/<task_id>.json로 쓰인다. 환경변수 우회: HARNESSBENCH_SKIP_PROCESS_GRADE·HARNESSBENCH_SKIP_ORACLE_QUALITY_LLM·RUBRIC_API_KEY/BASE_URL/MODEL. (README는 “100+” 배지를 표시; 공식 과제 수 106은 논문이 권위다.)

저장소 메타데이터(1차, GitHub API): Qihoo360/harness-bench · Python · 41★ / 2 forks / 5 open issues · 생성 2026-04-10 · 마지막 push 2026-06-23. → 논문(2026-05-27 제출) 이후에도 저장소가 갱신됐으므로 어댑터 확장·변경 가능성이 있다. ⚠️ 라이선스 미선언 — LICENSE 파일이 없고 GitHub에 라이선스 표기도 없다. arXiv 논문은 CC BY 4.0이나 코드 저장소 자체에는 라이선스가 없다. “오픈 프로젝트”로 코드를 사용·재배포하려면 별도 확인이 필요하다. (저장소 description·topics·공식 citation 표기도 README에 없다.)

왜 “하네스 효과”인가 — 관점과 프레임 비교

“하네스가 모델만큼(혹은 더) 중요하다”는 명제는 여럿이 같이 지적한다.

  • awesome-agent-harness 서베이 명제(아래): “에이전트 실행 하네스 — 모델이 아니다 — 가 대규모 신뢰성의 주 결정 인자다.”
  • htek.dev 인용(2차): 2026년 5월 MBZUAI 연구가 Claude Code 약 512k줄을 분석해 “프로덕션 에이전트의 ~98.4%가 하네스 인프라, ~1.6%만 AI 의사결정 논리”라고 한다는 보도. (직접 미확인; htek.dev 경유로만 인용.)
  • SWE-agent의 ACI 명제(같은 모델이라도 에이전트-컴퓨터 인터페이스가 성능을 바꾼다)와 동일 선상이며, 본 위키 2026-06-14-loop-engineering·2026-04-16-agent-skills-realistic-benchmark-gap와도 잇닿는다(벤치마크 점수를 모델 성능으로만 읽을 수 없다는 점).

하네스 계층을 잡는 프레임은 출처마다 다르다 — 동일시를 피한다.

프레임출처구성
ETCLOVG 7계층2026-05-24-agent-harness-engineering-survey (본 위키 서베이)E-실행·T-도구·C-컨텍스트·L-라이프사이클·O-관측·V-검증·G-거버넌스
6-컴포넌트 튜플 H=(E,T,C,S,L,V)awesome-agent-harness 서베이 (Meng 등, preprints)Execution loop·Tool registry·Context manager·State store·Lifecycle hooks·Evaluation interface + 하네스 완성도 행렬
CAR 분해 + HarnessCardwalkinglabs/awesome-harness-engineering이 인용하는 포지션 페이퍼 “Harness Engineering for Language Agents”(preprints 202603.1756)Control·Agency·Runtime 3축 + 표준 보고 카드

인접 하네스 효과·안전·진단 연구(이번 회차 1차 확인)

연구무엇을 겨냥1차 출처확인된 핵심
Harness-Bench구성 수준 하네스 효과 진단arXiv:2605.27922 · Qihoo360106과제 / 5,194궤적 / 하네스 점수폭 24.0 pp
PawBenchLLM × 하네스 공동 평가(하나 고정, 나머지 비교)agentscope-ai/PawBench (Apache-2.0, OpenJudge)150과제 / 6기원 / 9모델×3하네스; qwen3.6-35b-a3b에서 하네스 간 11.5 pp 차이(QwenPaw 68.3 vs Hermes 56.7)
HarnessAudit하네스 안전 감사(궤적 전체)arXiv:2605.14271 · eric-ai-lab210과제 / 8도메인 / 24시나리오 / 10하네스; 최고 시스템 0.32; 완료율과 안전 부합이 음상관; 과제당 50%+가 1회 이상 위반
HarnessFix(From Failed Trajectories…)궤적→중간 표현으로 하네스 결함 국소화·패치arXiv:2606.06324논문 존재 확인; 상세 수치는 미확정

이 외 AHE·Self-Harness·Meta-Harness·RHO·ACE·GEPA·AutoHarness·“Stop Comparing LLM Agents Without Disclosing the Harness”·“Harness Updating Is Not Harness Benefit” 등은 대화 요약 표에 정리돼 있다. 본 노트는 이번 회차에 1차 출처를 직접 확인한 연구만 다시 담았다.

오픈 프로젝트 지형

awesome list / 서베이 저장소

  • walkinglabs/awesome-harness-engineering — CC0, 3.6k★. 강좌·기초 논문·컨텍스트/메모리·제약/가드레일·스펙(AGENTS.md)·평가/관측·벤치마크·런타임/레퍼런스 하네스를 모은 “Awesome” 목록. 포지션 페이퍼 “Harness Engineering for Language Agents”(preprints 202603.1756, CAR 분해 + HarnessCard) 수록.
  • Gloriaameng/Awesome-Agent-Harness — 299★. 서베이 “Agent Harness for Large Language Model Agents: A Survey”(Meng 등 2026, preprints 202604.0428)를 동반. 하네스를 6-컴포넌트 튜플 H=(E,T,C,S,L,V)로 정식화, 110+ 논문·23 시스템 분석, 하네스 완성도 행렬(✓/≈/✗) 제공. 9개 기술 과제(샌드박스·평가·프로토콜 표준·컨텍스트·도구·메모리·추론·멀티에이전트·컴퓨터 경제학)를 다룬다.

벤치마크·평가 코드

  • Qihoo360/harness-bench — 본 연구의 코드·Evaluation Kit(과제 정답·채점 훅·샌드박스). Python, 41★ / 2 forks / 5 open issues, 생성 2026-04-10·마지막 push 2026-06-23. 어댑터 12개(openclaw·zeroclaw·nullclaw·moltis·hermes·nanobot + nanoclaw·picoclaw·fairyclaw·codex·generic_cli·demo). ⚠️ LICENSE 파일 없음 → 사용·재배포 전 별도 확인(arXiv 논문은 CC BY 4.0이나 코드 저장소는 라이선스 미선언). 자세한 실행 모델·채점 공식은 본 노트 ‘GitHub 저장소’ 절.
  • agentscope-ai/PawBench — 88★, Apache-2.0, OpenJudge 생태계. 150과제를 5-라벨(시나리오·능력·복잡도·모달리티·환경)로 재태깅; QwenPaw·OpenClaw·Hermes 3 하네스 비교; 채점 automated / llm_judge / hybrid.
  • eric-ai-lab/HarnessAudit — UC Santa Barbara 주도. 경계 준수·실행 충실도·시스템 안정성 3층 감사; 간접 프롬프트 주입이 안정성에 가장 큰 타격; 보안/안전 하네스 설계가 안전성 상한을 결정한다.

라이브 비교·커뮤니티·진단 도구

  • htek.dev — All Agent Harnesses: Live Comparison — ”🔴 LIVING ARTICLE”. 하네스를 “루프를 누가 제어하느냐”로 6분류(에이전트 하네스·프레임워크·SDK·도구/샌드박스·오케스트레이터·IDE에이전트·자율에이전트). 도구·메모리·멀티에이전트·샌드박스·거버넌스·확장성·CLI·배포·가격을 비교; “거버넌스 갭” 섹션과 자체 npm 패키지 @htekdev/agent-harness를 운영한다.
  • AgentDiagnose — EMNLP 2025 데모. LLM 에이전트 궤적 진단용 오픈 툴킷(하네스 효과의 ‘실패 궤적 분석’과 직접 연결).
  • Harness Evolver·harness-kit — Claude Code 플러그인(하네스를 자율 진화)·AI 에이전트 벤치마킹 라이브러리. 레퍼런스 하네스로 SWE-agent·SWE-ReX·LangChain deepagents·Inngest AgentKit·Citadel·Harbor(Terminal-Bench 2.0 평가 하네스)·browser-use/browser-harness가 awesome list에 함께 묶여 있다.

읽는 법과 한계

  • 같은 모델에서 하네스만 바꿔도 점수가 24 pp 편차난다는 Harness-Bench의 핵심은 1차 확인됐고, 인접 벤치마크들도 같은 방향의 증거를 놓는다.
  • 단 세 프레임(ETCLOVG / H=(E,T,C,S,L,V) / CAR)은 서로 다른 저자의 분류 체계다. 한 프레임의 이름을 다른 것에 옮겨쓰지 않는다.
  • emergentmind·htek.dev는 2차 정리이지만, Harness-Bench의 하네스명·어댑터·채점 공식은 GitHub 저장소(어댑터 디렉터리·harness.example.yaml)에서 1차로 확정했다. 미확정은 모델×하네스 셀 점수·분산값·과제별 프로세스 수치, 그리고 MBZUAI “98.4% 하네스 / 1.6% AI 로직” 주장(htek.dev 경유; 원문·리더보드에서 재확정 필요)뿐이다.
  • 본 노트는 “오픈 프로젝트”를 실제 코드·저장소·기준점 기준으로 담았다. 블로그 글 중 하네스 효과를 주장은 하나 코드가 없는 것은 정성 근거로만 분류했다. 단, Qihoo360/harness-bench는 라이선스가 미선언이므로 “코드 공개”와 “오픈소스(사용 허용)“를 같은 것으로 보지 않는다.

관련 노트

출처(1차·2차)

백링크