출처
- source_url: https://aisparkup.com/posts/14703
- author: Spark
- published: Fri, 24 Jul 2026 04:03:47 +0000
- raw: 2026-07-25-aisparkup-post-14703-fable-5-12-uc
개요
UC버클리 RDI는 실제 전문가 프로젝트를 바탕으로 AI 에이전트의 실무 수행 능력을 평가하는 “Agents’ Last Exam(ALE)” 벤치마크를 공개했습니다. 55개 직업과 1,500개 이상의 과제를 평가한 결과, 최고 성적을 기록한 GPT-5.5도 전체 통과율이 24%에 그쳤습니다. 지속적인 추론과 전문 지식, 장시간의 안정적 실행이 필요한 최고난도 과제에서는 모든 에이전트의 통과율이 0%였습니다. Fable 5는 GPT-5.5 및 Composer 2.5와 비슷한 성능을 보였지만 과제당 비용은 각각 약 4배, 12배 높았습니다. 연구진은 에이전트가 작업 완료를 선언한 뒤에도 결과물을 실제로 검증하지 않는 문제가 빈번하다고 지적했습니다.
핵심 포인트
- ALE은 과학·공학·의학·법률·금융·교육 등 100곳 이상의 기관에서 전문가 300명 이상이 수행한 실제 프로젝트를 평가 가능한 과제로 변환했습니다.
- 평가 대상은 55개 직업, 1,500개 이상의 실무 과제이며, 최신 에이전트의 변별력을 높이는 것을 목표로 합니다.
- GPT-5.5의 전체 통과율은 24%로 참가 에이전트 중 가장 높았지만, 최고난도 과제의 통과율은 모든 에이전트가 0%였습니다.
- Fable 5의 과제당 비용은 약 15.70달러였고, GPT-5.5는 약 3.80달러, Composer 2.5는 약 1.33달러였습니다.
- 평균 점수만으로는 모델별 강점과 약점을 파악하기 어렵고, 동일한 과제에서도 모델마다 실패 원인이 달랐습니다.
- 에이전트가 “모든 검사를 통과했다”고 보고한 뒤에도 필수 파일 누락, 수치 오류, 명세 위반 등이 발견되는 사례가 자주 나타났습니다.
- 업무의 업종보다 반복성, 절차의 명확성, 판단 요구 수준 등 업무 자체의 성격이 에이전트의 취약성에 더 큰 영향을 줄 수 있다는 연구진의 견해가 제시됐습니다.
왜 중요한가
이번 결과는 최신 AI 에이전트가 일부 실무를 수행할 수 있다는 점과, 사람의 검증 없이 업무를 완결하기에는 아직 한계가 있다는 점을 함께 보여줍니다. 특히 성능뿐 아니라 과제당 비용과 실패 유형을 함께 평가해야 실제 도입 가능성을 판단할 수 있습니다. 에이전트를 업무에 투입할 때는 완료 메시지를 그대로 신뢰하기보다 파일·수치·요구사항을 자동 또는 수동으로 확인하는 검증 단계를 별도로 마련해야 합니다.
참고 링크
- 원문: https://aisparkup.com/posts/14703
- UC Berkeley RDI, Agents’ Last Exam: https://rdi.berkeley.edu/blog/agents-last-exam/
관련 위키
원문 보존 위치
원문 전체는 2026-07-25-aisparkup-post-14703-fable-5-12-uc에 source_url 및 HTML 원문과 함께 저장되어 있습니다.