개요

@choi.openai가 14부작 Threads로 정리한 우버 엔지니어링 블로그 글 “Running a Software Factory Efficiently at Uber Scale”(2026-08-27, Uday Kiran Medisetty)의 요약이다. 우버는 지난해 말 Claude Code를 엔지니어링 조직에 풀고 리더보드로 사용을 독려하다가 넉 달 만에 연간 AI 예산을 다 썼다고 4월에 보도된 회사다. 그 뒤 2026년 2월부터 8월까지 에이전트 주간 사용자는 7배, 요청은 9.4배로 늘었는데도 총 AI 비용은 4월 이후 거의 그대로 유지했다. 같은 모델 기준으로 요청 1,000건당 비용은 34%, 세션당 비용은 52% 줄었다. 모델 가격 인하 없이 설계로 낸 결과라는 점이 핵심이다. 에이전트 하네스 효율 논의는 harness와 moc-ai-agents-harness에서 이어진다.

규모

  • 우버 전체 PR의 70% 이상이 로컬·클라우드 에이전트 작업으로 잡힌다. 에이전트 스킬은 3,600개가 넘고, 하루 실행은 3만 회 이상이다.
  • 사람이 아니라 관리형 에이전트가 시작하는 세션이 늘고 있다. 코드 리뷰, 실패한 CI 자가 복구, 화면 검증까지 마친 E2E PR, 온콜 알림 분류를 전담 에이전트가 맡고, 사람은 리뷰·승인 단계에서 개입한다.

비용 방정식

총비용 = 사용자 × 세션 × 턴 × 요청 × 토큰 × 토큰당 가격

사용자와 세션은 성장 지표라 줄일 대상이 아니다. 우버는 세션 안의 턴·요청·토큰과 토큰당 가격에 집중했다. 항목마다 주간·월간 지표를 붙여, 청구서가 늘거나 줄었을 때 원인을 항목별로 설명할 수 있게 했다.

항손잡이내용
토큰당 가격모델 선택에이전트별 실제 업무로 벤치마크를 만든다. 코드 리뷰 에이전트 uReview는 실제 버그가 든 PR로 정밀도·재현율·F1과 리뷰당 비용·지연을 측정한다. 프런티어 모델과 오픈웨이트 모델을 같은 인터페이스에서 비교해 몇 주 단위로 교체한다. 서브에이전트 기본 모델 배정이 가장 큰 영향을 줬다(분해·평가는 고성능 모델, 범위가 명확한 하위 작업은 저렴한 모델)
요청당 토큰프롬프트 캐시캐시 재사용은 입력가의 10%, 생성은 5분 TTL 1.25배·1시간 TTL 2배다. 엔지니어가 5분 넘게 자리를 비우는 일이 많아 대화형 세션 TTL을 1시간으로 늘렸다. 짧게 끝나는 서브에이전트는 5분을 유지한다
요청당 토큰컨텍스트·추론 설정1M 지원 모델도 40만 토큰에서 자동 압축한다. 추론 강도 기본값은 Medium이다
요청당 토큰도구 정의표준 MCP는 도구 100개면 첫 프롬프트에 5만–7만 토큰이 실리고 매 턴 재전송된다. 내부·외부 MCP 서버 1,000개 이상을 게이트웨이 하나로 모았다. 도구를 CLI 명령으로 바꿔 호출 시점에만 부르거나, 툴 서치로 필요한 스키마만 로드한다. 한 협업 SaaS는 도구 49개 스키마만 2만 2천 토큰이었다
턴 수코드 모드쿼리 제출·상태 확인·결과 회수 왕복을 파이썬 스크립트 루프로 옮기고 모델은 요약만 받는다. 넓은 테이블 조회가 143만 토큰에서 900토큰이 됐고, 반복 작업 절감률은 90%를 넘는다. 자주 쓰는 서버용 코드 모드 스킬 25개를 미리 만들었다
턴당 요청컨텍스트 그래프30여 개 내부 시스템(서비스·팀·장애·PR·설계 문서·테이블 이력)을 노드 2,400만·연결 8,000만 개 그래프로 통합하고 자연어로 조회한다. 같은 질문에 그래프를 쓴 에이전트는 38초 만에 정답을 냈다. 그래프 없는 에이전트는 서브에이전트 2개와 오류 3회 끝에 20분 만에 오답을 냈다

사람 쪽 장치

  • 터미널 상태줄에 현재 세션 비용을 실시간으로 보여 주고, 예상 지출의 50·80·100%에서 Slack 알림을 보낸다. 한도 상향은 매니저 승인으로 티어를 올려야 한다. 6월에 보도된 직원당 도구별 월 1,500달러 상한도 이 절차와 함께 운영된다.
  • 세션 분석 대시보드가 별도 설정 없이 16가지 낭비 유형을 찾아 금액과 개선법을 보여 준다. 단순 작업에 비싼 모델을 쓴 경우, 40KB 도구 응답이 컨텍스트에 남아 매 턴 재입력된 경우, 쉬는 동안 캐시가 만료된 경우 등이다.

해석과 한계

작성자는 이 발표를 “기업 AI 비용을 설계로 통제할 수 있다는 실측 증거”로 본다. 벤치마크와 라우팅을 갖춘 회사는 모델을 언제든 갈아탈 수 있어 가격 협상에서도 유리하다. 다만 몇 주마다 모델을 바꾸는 운영에서 F1 같은 품질 지표가 무너지면, 아낀 토큰은 재작업 비용으로 돌아온다. 원문 수치는 우버의 자체 공개값이다. 도구 스키마 문제의 배경은 mcp를 참고한다.

관련 위키