출처
- source_url: https://www.threads.com/@geun._.daeng/post/DYvjCy6Eo24
- author: @geun._.daeng (Threads)
- raw: 2026-05-25-threads-geun-daeng-harness-benchmark
요약
Threads 이용자 @geun._.daeng이 직접 만든 **harness(하네스)**로 오픈소스 로컬 모델이 GPT·Claude를 이겼다고 주장하는 짧은 글이다(“어그로성 제목은 용서해달라”고 스스로 밝힌다). 2025년 12월경부터 하네스에 관심을 갖고 직접 만들기 시작해, 몇 달간 오케스트레이션 레이어와 워크플로우를 테스트하며 자신에게 맞는 하네스를 다듬었다고 한다.
핵심 질문은 “이 하네스가 만드는 결과 상승분을 어떻게 정량화할 것인가”였고, 이를 위해 SWE-Bench Pro Public Dataset에서 벤치마크를 돌린 결과 **72.6점(95% Wilson 신뢰구간 66.4–78.1)**을 기록했다고 공유한다. 캡처 방식이 Threads의 동적 로딩 본문을 HTML 메타데이터에서 가져온 것이라 게시물 원문 전체(어떤 로컬 모델을 썼는지, 하네스 구조가 구체적으로 무엇인지)는 이 캡처에 담기지 않았다 — 개인의 자기 보고 벤치마크로, 독립 검증은 없다.
이 사례는 moc-ai-agents-harness에서 다루는 “모델 자체보다 하네스 설계가 성능을 좌우한다”는 최근 논의(예: 2026-07-07-software-after-ai-harness-era)와 같은 흐름 — 동일 모델이라도 컨텍스트·도구·오케스트레이션 계층을 잘 설계하면 벤치마크 점수가 크게 달라질 수 있다는 실증 사례 중 하나로 읽을 수 있다.
관련 위키
원문 보존 위치
원문 전체는 2026-05-25-threads-geun-daeng-harness-benchmark에 source_url과 함께 저장되어 있다.