출처: https://x.com/yulmu_coffee/status/2101607409835970788 (율무커피) · 인용 원글: https://x.com/0xidanlevin/status/2100937437325205568 (Idan Levin)

개요

Idan Levin 팀이 자체 WebMCP 벤치마크에 jev를 돌렸다. Jev + Mercury 2.5 + WebMCP 조합은 과제 100%(49/49)를 풀었다. 모델 비용은 코드 실행을 곁들인 컴퓨터 사용 방식의 GPT-6 Astra보다 약 112배, 스크린샷 기반 컴퓨터 사용 Astra보다 245배 낮았다. 벤치마크와 방법론은 공개돼 있어 재현할 수 있다.

하네스 구조

  • Jev는 텍스트 입력과 고를 수 있는 이산 선택지를 받는다. WebMCP에서는 그 선택지가 웹사이트가 노출한 도구다. 매 단계 Jev는 과제, 쓸 수 있는 도구, 이전 결과를 보고 다음 동작을 고른다.
  • Jev는 임의 텍스트를 만들 수 없다. search_products 도구는 고를 수 있어도 검색어는 못 만든다. 그래서 인자가 필요하면 초당 1,000토큰 이상을 내는 저렴한 모델 Mercury 2.5가 생성한다.
  • 이런 과제의 인지 부담은 대부분 “올바른 동작 고르기”에 있고, 인자 생성은 비교적 쉬워서 작고 빠른 모델로 충분했다.

WebMCP 유무 비교

조건해결비고
Jev + Browser Use Ultrafast(수정판), WebMCP 없음25/49화면의 버튼·입력란·옵션 중에서 고름
Jev + Mercury 2.5 + WebMCP49/49모델 비용도 18% 감소

WebMCP가 없으면 Jev는 클릭할 컨트롤을 고를 수는 있어도 메뉴 탐색, 폼 이해, 오류 복구, 완료 판단까지 해야 한다. 팀의 가설은 WebMCP가 클릭 여러 번을 도구 호출 하나로 “압축”해 결정 공간을 단순하게 만든다는 것이다. TypeSafe도 여러 단계 추론이 필요한 질문에서는 Jev 정확도가 낮다고 문서에 적어 두었다. 25/49는 이 팀의 구현과 벤치마크에서 나온 결과이지 Jev나 Browser Use의 한계 자체는 아니라고 덧붙였다.

맥락

Browser Use Ultrafast는 jev-ultrafast, 웹사이트가 에이전트용 도구를 노출하는 방식은 browser-use와 moc-mcp의 브라우저 자동화 항목과 이어진다. 다른 Jev 응용은 moc-jev에 있다.