원문: @dken_w · 인용: @cognition · 게시: 2026-10-28

핵심 요지

Cognition이 새 코딩 벤치마크 FrontierCode 2.0을 공개했다. 스펙을 넘어서는 능력을 재는 것이 목표다.

  • 대부분의 코딩 평가는 스펙을 충족하는 코드를 쓰는지 본다.
  • FrontierCode 1.0은 “이 PR을 실제로 머지하겠는가?”를 물었다.
  • 2.0은 과제가 더 다양하고 범위가 크며 머지 기준도 높다. 질문은 “머지할 수 있는가”를 넘어 “머지해야 하는가?”다.
  • 핵심 장치는 덜 명세된(underspecified) 프롬프트다. 엔지니어링 결정을 모두 적지 않고 일부러 모호하게 둬, 모델이 스스로 판단할 여지를 준다.
  • 포화와는 거리가 멀다. **최고 모델이 45%**다.

인용한 DW(@dken_w)는 첨부 차트를 보고 “Opus 5.5 xhigh와 high 사이의 격차가 크다”고 반응했다. 모델별 정확한 점수는 이미지에만 있어 확인하지 못했다.

메모