개요

에이전트 비용은 모델이 비싸서가 아니라 같은 난이도의 토큰을 반복해서 사기 때문에 생긴다는 주장을 129장 슬라이드로 풀어낸 패스트캠퍼스 세미나(2026년 8월)다. 1부는 비용이 새는 구조를, 2부는 작업 난이도별로 모델을 나눠 품질을 지키며 비용을 줄이는 방법을 다룬다. 결론은 한 줄이다. “비용은 모델을 바꿔서가 아니라 작업을 나눠서 줄어든다.”

발표 속 단가·절감 수치(예: $3,400 청구서, 69% 절감)는 발표자 환경의 예시값이다. 경향을 읽는 용도로만 쓰고, 실제 판단은 자체 Eval로 재현해야 한다.

1부 — 비용은 구조에서 나온다

에이전트는 LLM + 반복 루프 + 도구 + 메모리이고, 네 요소 모두 토큰을 더 쓰는 방향으로 작동한다. 원인은 세 갈래로 정리된다.

원인내용
구조루프가 호출을 곱한다. 한 요청이 수십 번의 LLM 호출로 전개된다(ReAct·Reflexion·ToT 모두 성능을 호출 횟수로 산다).
누적모델은 상태가 없어 이전 대화·도구 스키마·실행 로그를 매 턴 다시 입력으로 청구한다. 후반 턴일수록 한 호출이 비싸진다.
품질실패하면 누적 컨텍스트에 실패 기록까지 얹은 채 재시도한다. 실패 비용은 배수로 붙는다.

20턴짜리 코딩 세션 한 건의 비용 구성 예시를 보면 입력이 대부분이다. 그래서 캐싱과 컨텍스트 관리가 첫 번째 레버가 된다.

항목비중대응
시스템 프롬프트·도구 스키마14%매 턴 반복 → 캐싱
대화 이력 재전송40%압축·세션 분리
도구 실행 결과(파일·로그)37%요약해서 넘기기
모델 출력(사고 + 코드)9%단가는 높지만 양은 적음

그 밖의 근거로는 다음이 제시된다.

  • 추론 레벨: Prefill은 O(n²) 연산이라 비용을, Decode는 메모리 대역폭이라 속도를 결정한다. 긴 컨텍스트는 비용을 확실히 올리지만 품질은 보장하지 않는다(Lost in the Middle).
  • 멀티에이전트: Anthropic은 자사 리서치 에이전트가 일반 채팅 대비 약 15배 토큰을 쓴다고 보고했다.
  • 실패 패턴: MAST 분류를 현장에 옮기면 무한 루프, 컨텍스트 오염, 도구 오용(레포 전체 읽기), 환각 경로, 과잉 검증, 무의미한 승급(쉬운 작업까지 최상위 모델이 처리)이 반복된다. 마지막이 가장 흔한 낭비다.
  • 싼 모델의 함정: 싼 모델을 잘못 배치하면 재시도 비용이 절감분보다 커진다. “아무 데나 싼 모델”은 답이 아니다.

2부 — 비용을 줄이는 세 개의 레버

레버방법적용 범위
1. 컨텍스트를 줄인다Prompt Caching, 컨텍스트 압축·요약, 세션 분리, Batch API, 도구 개수 정리같은 모델 그대로
2. 모델을 나눈다난이도 분류, 라우팅·캐스케이드, 서브에이전트 분리, 폴백 설계세미나의 주제
3. 서빙을 최적화한다양자화(GPTQ·AWQ)·증류, vLLM·PagedAttention, Speculative Decoding자체 호스팅 시

레버 1은 리스크가 가장 낮아 먼저 적용한다. 캐시 규칙은 “고정된 것은 앞으로, 변하는 것은 뒤로”다. 프롬프트 앞에 타임스탬프 하나만 있어도 그 지점부터 캐시가 무효화된다. 다만 대부분의 팀은 레버 1만 쓰다가 절반쯤에서 멈춘다.

라우팅·캐스케이드 연구

모델 간 출력 단가는 한 자릿수 배가 아니라 수백 배 차이가 난다(프론티어 최상위 75 대 로컬 0.1, 상대값). 연구들의 공통 전제는 “모든 요청이 같은 난이도가 아니다”이다.

연구핵심 아이디어판단 시점보고된 효과
FrugalGPT (2023)저가 모델부터 순차 시도, 신뢰도가 낮으면 승급실행 후 검증최대 98% 비용 절감
Hybrid LLM (ICLR 2024)난이도 + 품질 저하 허용치로 사전 배정실행 전 예측품질 손실을 통제하며 절감
RouteLLM (2024)Chatbot Arena 선호 데이터로 라우터 학습실행 전 예측GPT-4 성능 95% 유지, 85% 이상 절감(MT-Bench)
Mixture-of-Agents (2024)여러 오픈소스 모델 응답을 층층이 정제다층 집계AlpacaEval 2.0에서 GPT-4o 상회(65.1% 대 57.5%)

연구들이 공통으로 말하는 것은 비용이 “싼 모델”이 아니라 **“배정 기준”**에서 줄어든다는 점이다.

작업을 Tier로 나눠 배정한다

Tier작업 예배정
1 — 기계적로그·에러 요약, 코드 탐색, 문서화, 포맷 변환·번역오픈소스 소형/로컬
2 — 정형 구현보일러플레이트, 리팩터링, 단위 테스트, 간단한 버그 수정오픈소스 대형(MoE)
3 — 판단아키텍처 설계, 원인 불명 버그, 보안·성능 크리티컬, 최종 리뷰프론티어 모델

“어렵다/쉽다”는 감이 아니라 판정 가능한 질문으로 나눈다.

  • 정답이 하나로 정해지는가?
  • 틀렸을 때 테스트가 자동으로 잡아내는가? 잡아낸다면 낮은 Tier로 내려도 안전하다.
  • 되돌리기 비싼가? 마이그레이션·스키마 변경은 무조건 Tier 3이다.
  • 맥락을 얼마나 넓게 봐야 하는가? 파일 하나면 Tier 1~2, 시스템 전체면 Tier 3이다.
  • 사람이 최종 리뷰하는가? 리뷰가 있으면 한 단계 낮춰도 된다.

Tier는 작업 종류보다 작업 단계에 적용할 때 효과가 크다. 요청 하나도 탐색(소형) → 설계(프론티어) → 구현(대형) → 검증(소형)으로 쪼갤 수 있다. 실제 구성(Claude + DeepSeek/Qwen/GLM)에서도 Tier 3은 어느 조합에서든 내리지 않는다. 절감은 Tier 1~2에서 나온다.

라우팅 설정의 핵심은 모델 목록이 아니라 fallback 조건이다. 예를 들어 tool_call_error나 test_failed_twice일 때만 프론티어로 승급한다. 승급 판정은 실행 결과(테스트·컴파일·린트) → 규칙(스키마·필수 필드) → LLM-as-a-Judge 순으로 신뢰한다. Judge를 쓸 때는 판정기 자체에 저가 모델을 쓴다.

품질을 숫자로 정의해야 절감을 증명할 수 있다

“비슷한 퀄리티”는 기능 정확도(pass@k), 작업 완주율, 재시도 횟수, 리뷰 수정량, 회귀 발생, 총 소요 비용 중 무엇을 지켰는지로 바꿔 말해야 한다. 자체 Eval의 최소 구성은 이렇다.

  1. 내 레포에서 실제 작업(이슈·PR·버그) 20~50건을 뽑는다.
  2. 각 건의 통과 판정(테스트·린트·함수 존재 여부)을 자동화한다.
  3. 같은 태스크를 모델 구성별로 5회씩 돌려 pass^k로 일관성까지 측정한다.
  4. 성공률, 평균 시도 횟수, 총 비용, 소요 시간을 함께 기록한다.

발표자 환경의 예시 결과(기능 추가 + 테스트 작성, 각 5회)는 다음과 같다.

구성성공률평균 시도총 비용소요 시간
프론티어 단독5/51.2회100100
+ 캐싱·컨텍스트 정리5/51.2회5894
+ 티어 라우팅5/51.4회31112
오픈소스 단독3/52.8회22186

라우팅 구성은 성공률을 유지하며 비용을 3분의 1로 낮췄다. 다만 저가 모델의 생성 속도와 승급 왕복 때문에 소요 시간은 늘었다. 오픈소스 단독은 가장 싸지만 재시도가 절감분을 잠식했다.

흔한 실패와 도입 순서

라우팅 도입에 실패하는 팀은 대체로 셋 중 하나다. Eval 없이 모델부터 내리거나, 승급 조건을 만들지 않거나, 설계·최종 리뷰(Tier 3)까지 저가 모델로 내린다.

주차할 일판단 기준
1주차작업 유형별 토큰·비용 로깅비용 상위 3개 유형은?
2주차캐싱·도구 정리·컨텍스트 압축품질 변화 없이 몇 % 줄었나
3주차자체 Eval 20건 + 자동 판정현재 구성의 기준선 확보
4주차Tier 1만 저가 모델로 전환성공률·재시도가 유지되는가

Tier 2 전환은 4주차 결과를 본 뒤 판단한다. 로깅은 호출 단위(모델·토큰·캐시·지연), 작업 단위(유형·호출 수·비용·성공·재시도), 라우팅 단위(배정 Tier·승급 여부·사유)의 세 층으로 남긴다. 그래야 “어느 작업 유형에서 승급이 잦은가”가 보이고, 그 답이 다음 개선 지점이 된다.

관련 노트