원문: @dken_w · 인용: @cognition · 게시: 2026-10-28
핵심 요지
Cognition이 새 코딩 벤치마크 FrontierCode 2.0을 공개했다. 스펙을 넘어서는 능력을 재는 것이 목표다.
- 대부분의 코딩 평가는 스펙을 충족하는 코드를 쓰는지 본다.
- FrontierCode 1.0은 “이 PR을 실제로 머지하겠는가?”를 물었다.
- 2.0은 과제가 더 다양하고 범위가 크며 머지 기준도 높다. 질문은 “머지할 수 있는가”를 넘어 “머지해야 하는가?”다.
- 핵심 장치는 덜 명세된(underspecified) 프롬프트다. 엔지니어링 결정을 모두 적지 않고 일부러 모호하게 둬, 모델이 스스로 판단할 여지를 준다.
- 포화와는 거리가 멀다. **최고 모델이 45%**다.
인용한 DW(@dken_w)는 첨부 차트를 보고 “Opus 5.5 xhigh와 high 사이의 격차가 크다”고 반응했다. 모델별 정확한 점수는 이미지에만 있어 확인하지 못했다.
메모
- 모호한 요구에서 판단을 재는 평가라면 추론 노력 단계(effort)의 차이가 크게 드러나는 것이 자연스럽다. 비용 대비 단계 선택은 FrontierCode 1.1 결과를 다룬 2026-09-23-x-jesselaunz-gpt-6-sol-luna-devin-tiers 참고.
- 사람의 코드 리뷰가 “머지 여부 판단”으로 바뀐다는 논의는 2026-09-30-death-of-code-review-laurie-voss.
- 묶음: moc-ai-models