토큰맥싱 위해 좌충우돌 했던 회사들이 요즘 하는 것 (표철민 AI3 대표)

출처: 토큰맥싱 위해 좌충우돌 했던 회사들이 요즘 하는 것 · 길이: 24:32 · 채널: 티타임즈TV · 공개: 2026-08-11 자막: YouTube 한국어 원본 자동자막(ko-orig). 명백한 음성 인식 오류와 산내처럼 반복되는 표기는 문맥에 맞춰 사내로 보정했다. 영상 유형: 인터뷰형(B형)에 AI 서비스 화면·워크플로 다이어그램이 삽입된 영상이다. 말하는 장면은 화자의 주장과 사례를 중심으로, 화면에 고유한 정보가 있는 장면은 그 내용을 함께 옮겼다. 주의: 토큰 사용량 22배 증가, 미국 기업 73%의 예산 조기 소진, 에이전트가 사람보다 100배 많은 대화를 만든다는 수치와 “MCP로 할루시네이션이 거의 없다”는 평가는 영상에서 소개한 사례·주장이다. 독립 검증된 통계로 다루지 않는다.

개요

이 인터뷰는 기업 AI 활용이 “일단 많이 써 보자”는 토큰맥싱 단계에서 실제 업무 성과와 비용 효율을 따지는 밸류맥싱 단계로 이동하고 있다는 현장 관찰을 정리한다.

AI3의 웍스 AI는 여러 LLM을 하나의 기업용 포털에서 쓰게 하고, 사내·공공 데이터와 MCP 에이전트를 연결해 자연어로 업무를 처리하도록 돕는 서비스로 소개된다. 표철민 대표는 약 1,000개 기관의 사용 사례를 보며, 초반에는 전사 도입과 무제한 사용을 허용했지만 이제는 업무 프로세스별 ROI와 결과 일관성을 설계해야 한다고 말한다.

영상의 후반부는 추상적인 “AI 교육”보다 구체적인 도구 연결과 워크플로 설계가 중요하다는 점을 보여준다. 좋은 에이전트는 모든 판단을 모델에 맡기는 대신, 경량 모델로 작업 순서를 만들거나 결정론적인 MCP로 고정 절차를 수행하고, 강한 모델은 최종 해석과 보고서 작성에 집중하게 한다.

한눈에 보는 요약

• 기업 AX의 질문이 “AI를 얼마나 많이 쓰게 할까”에서 “AI로 어떤 가치를 만들고 성과를 어떻게 측정할까”로 바뀌고 있다.
• 전사 AI 도입 직후의 높은 트래픽은 호기심일 수 있으므로, 업종·망분리·사용자 숙련도에 따른 실제 활용 패턴을 몇 주간 관찰해야 한다.
• 토큰맥싱은 AI를 업무에 익숙하게 만드는 출발점이었지만, 비싼 모델과 에이전트의 도구 호출이 겹치면서 비용과 일관성이 새로운 병목이 됐다.
• 밸류맥싱은 일반적인 프롬프트 교육이 아니라, 조직의 실제 업무 프로세스에 공공 데이터·사내 시스템·MCP를 붙여 결과물을 자동화하는 단계다.
• 기업용 에이전트는 사내 DB·ERP·일정·결재·생산 데이터를 자연어 인터페이스로 묶을 때 비로소 “업무를 대신하는” 도구에 가까워진다.
• 복잡한 도구 선택은 경량 모델을 플래너로 쓰고, 반복 가능한 순서는 결정론적 프로그램/MCP로 고정하며, 플래그십 모델은 결과 해석에 쓰는 방식으로 비용과 변동성을 줄일 수 있다.
• 과거에 데이터 레이크와 업무 시스템을 정리해 둔 회사는 MCP 연결만으로 AI에 데이터를 공급할 수 있어 유리하고, 그렇지 않은 회사는 데이터 정리부터 시작해야 한다.

핵심 한 줄: 토큰을 많이 쓰는 것 자체가 AX의 성과가 아니라, 신뢰할 수 있는 데이터와 재현 가능한 워크플로로 실제 의사결정을 얼마나 개선했는지가 성과다.

핵심 용어

• 토큰맥싱(token maxing): 조직 전체에 AI 사용을 넓게 풀어 토큰을 많이 쓰게 하고, 그 과정에서 자동화 가능 업무와 사용 패턴을 찾는 초기 도입 전략이다.
• 밸류맥싱(value maxing): 단순 사용량이 아니라 비용 대비 업무 가치, 결과 품질, 일관성, 의사결정 개선을 최적화하는 다음 단계다.
• AX: 영상에서 말하는 AI Transformation. AI를 사내 업무와 시스템에 실제로 심어 업무 방식과 의사결정을 바꾸는 전환을 가리킨다.
• MCP: 모델이 사내 DB, ERP, 공공 데이터, 일정·결재 시스템 같은 외부 도구와 데이터를 호출할 수 있게 하는 연결 계층으로 설명된다.
• RAG: 문서 전체가 아니라 질의와 유사한 일부 청크를 검색해 모델의 맥락으로 넣는 방식. 영상은 이 접근만으로는 숫자 정확성과 재현성을 보장하기 어렵다고 지적한다.

장면별 상세 설명

[00:08] 1. AX의 질문이 “얼마나 쓰나”에서 “어떤 가치를 내나”로 바뀐다

오프닝 화면은 “AX, 이제 새로운 질문에 답해야 합니다”라고 제시하며, 질문을 AI로 얼마나 가치를 창출할 것인가로 좁힌다. 영상은 AI 도입량을 늘리는 것만으로는 부족하고, 그 결과를 어떻게 측정할지까지 설계해야 한다는 문제의식에서 출발한다.

[02:12] 2. 여러 모델을 한곳에서 쓰게 하는 웍스 AI

표철민 대표는 웍스 AI를 여러 GPT·Gemini·국산 모델을 한데 모아 기업에 제공하는 종량제 AI 포털로 설명한다. 기업은 모델마다 별도 계약을 맺지 않고 하나의 서비스에서 여러 모델을 선택할 수 있으며, 과도한 사용을 막기 위해 요금과 사용 한도도 정할 수 있다.

그는 AI3가 처음부터 모든 기능을 계획했다기보다 약 1,000개 기관이 반복해서 요청한 기능을 제품으로 만들고 있다고 말한다. 이 때문에 뒤에서 나오는 사례도 모델 자체의 성능보다 고객 조직의 실제 업무 흐름과 연결되어 있다.

[04:22] 3. 도입 첫 주의 사용량 급증은 성공 지표가 아니다

기업은 보안 검토와 경영진 의사결정을 거쳐 AI를 도입한 뒤, 첫 일주일 동안 트래픽이 크게 치솟는 것을 경험한다. 하지만 일주일이 지나면 사용량이 급락하는 경우가 흔하다. 전 직원에게 열어도 실제로 AI를 잘 다루는 일부 사람만 계속 사용하기 때문이다.

대표의 처방은 첫 주 수치를 보고 바로 서비스를 끄지 말고 몇 주 동안 관찰하는 것이다. 시간이 지나면 사용량은 그 회사의 AI 활용 역량과 업무 적합성에 가까운 수준으로 수렴하고, 그때 업종·조직·교육의 차이가 드러난다고 설명한다.

[05:12] 4. 망분리와 업무 환경이 활용률을 가른다

화면은 망분리 기업 = 활용률 낮음이라는 관계를 직접 보여준다. 외부 AI 서비스를 내부망에서 쓸 수 없거나 사내 문서를 올릴 수 없는 조직은, 같은 제품을 도입해도 활용률이 낮아질 수밖에 없다. 반대로 망분리 제약이 적고 컴퓨터 앞에서 일하는 시간이 긴 조직은 상대적으로 잘 사용한다.

따라서 도입 관리자는 평균 사용량 하나만 보지 말고, 망분리 여부·직무·현장 접근성·기존 AI 숙련도를 함께 봐야 한다. 사용량이 낮다고 곧바로 모델이나 제품의 문제로 결론 내리기보다 인재개발팀 교육, 보안 정책, 업무 접점의 문제인지 나눠 봐야 한다.

[06:44] 5. 검색을 넘어 법령을 확인하는 에이전트

웍스 AI의 MCP 에이전트 사례로, 신사업 진출 가능성을 묻자 단순 웹 검색으로 끝내지 않고 국가법령정보센터에서 현행법을 확인하는 흐름이 소개된다. 에이전트는 관련 조문과 항을 찾아 “가능한 일”과 “하면 안 되는 일”을 구분해 답한다.

사용자의 질문은 짧지만, 에이전트가 연결된 도구를 판단하고 법령 데이터를 가져오면서 내부 작업량은 훨씬 커진다. 더 좋은 답을 만들기 위한 도구 호출과 맥락 수집이 토큰 사용량을 늘리는 구조가 여기서 드러난다.

[07:42] 6. 짧은 질문 뒤에 긴 맥락이 붙는다

사용자는 한두 문장만 입력했지만, 에이전트는 연결된 “손발”을 골라 국가 통계나 외부 데이터를 가져오고, 그 결과를 다시 모델의 입력에 싣는다. 화면의 자막처럼 처음 질문이 100자여도 맥락에는 500자나 1,000자의 데이터가 추가될 수 있다.

이것은 단순한 토큰 낭비와 다르다. 필요한 데이터를 호출해 답변 품질을 높이는 비용이기 때문이다. 문제는 그 비용이 실제 업무 가치로 이어지는지, 같은 질문에 일관된 결과를 내는지, 어떤 도구를 불필요하게 호출하는지를 함께 계측해야 한다는 점이다.

[08:30] 7. 토큰 사용량을 리더보드처럼 자랑하던 시기

영상은 한때 회사 현관에 개발자들의 전날 토큰 사용량을 리더보드처럼 표시하던 사례를 언급한다. 당시에는 많이 쓰는 것이 AI 전환의 적극성이나 생산성의 증거처럼 보였다.

하지만 사용량이 많다는 사실만으로 생산성이 경쟁사보다 높아졌다고 확신하기는 어렵다. 토큰 사용량은 실험과 자동화를 위한 선행 지표일 수 있지만, 품질·처리 시간·오류율·매출·의사결정 속도 같은 결과 지표와 연결되지 않으면 비용만 커질 수 있다.

[09:18] 8. 예산이 먼저 소진되면 토큰맥싱은 질문을 바꾼다

영상은 Investing.com 자료를 보여주며 AI 비용이 예상보다 빠르게 늘고 있다는 사례를 인용한다. 발표자는 미국 기업의 73%가 1년 예산을 조기에 소진했다는 수치와, 사람의 대화 100번에 해당하는 작업을 에이전트가 한 번에 처리하는 흐름을 함께 설명한다. 이 수치는 영상이 소개한 자료와 해석으로 남겨야 한다.

비용이 늘어나는 이유는 에이전트의 호출 횟수뿐 아니라 더 비싼 최신 모델을 직원들이 선호하고, 한 번의 요청에도 검색·도구 호출·중간 추론이 이어지기 때문이다. 이제 경영진은 “얼마나 풀어줄까”보다 “늘어난 지출만큼 회사가 좋아졌는가”를 묻게 된다.

[11:24] 9. 토큰맥싱은 나쁜 전략이 아니라 첫 단계였다

발표자는 토큰맥싱을 실패한 유행으로만 보지 않는다. 전사에 AI를 배포하고 “일단 많이 써 보라”고 한 덕분에 조직은 반복 업무를 발견하고 자동화·챗봇·에이전트로 바꿀 후보를 찾을 수 있었다.

다만 무제한 사용으로 경험을 쌓는 단계는 영구적인 운영 모델이 될 수 없다. 충분히 사용해 본 다음에는 어떤 업무가 실제로 가치가 있었는지, 어떤 모델과 도구 조합이 비용 대비 좋은지, 어디까지 자동화할지를 선택해야 한다.

[12:42] 10. 밸류맥싱은 일반 강의가 아니라 업무 프로세스 컨설팅이다

요즘 기업이 원하는 AI 교육은 “AI가 무엇인지”를 설명하는 추상적인 강의가 아니다. 특정 업무 프로세스를 진단하고, 어떤 도구를 연결하면 어느 단계가 얼마나 개선되는지까지 제시하는 컨설팅에 가깝다. 영상은 AI 강사들이 AX 컨설턴트나 FDE(Forward Deployed Engineer) 역할로 이동하는 이유를 여기에 둔다.

이 전환은 수요자의 성숙도와도 관련 있다. 이미 토큰맥싱을 겪어 본 조직은 “AI를 도입하자”가 아니라 “우리 업무에서 가성비 좋게 무엇을 바꿀까”를 묻는다. 양적 실험에서 얻은 사용 맥락이 질적 개선의 재료가 되는 셈이다.

[13:36] 11. 부동산 데이터를 모아 보고서와 PPT로 만든다

부동산 관련 제안서를 작성하는 예를 들며, 에이전트가 KB 부동산 시세와 실거래가를 조회하고 아파트별 표와 PPT를 만든다고 설명한다. 토지의 용도는 국토교통부 데이터를 찾아 보강한다. 화면에도 웍스 AI가 질의를 확장하고 자료를 조합해 보고서 형태로 만드는 과정이 나타난다.

과거에는 모델이 학습한 일반 지식만으로 초안을 만들었다면, 이제는 최신 공공 데이터와 업무 데이터를 호출해 결과물의 근거를 채울 수 있다. 밸류맥싱의 핵심은 “더 똑똑한 답변”이 아니라, 사람이 실제로 조사·복사·표 작성에 쓰던 시간을 줄이는 데 있다.

[14:25] 12. 사내 시스템을 자연어 프런트엔드로 바꾸기

사내 ERP와 그룹웨어를 연결하면 “휴가가 몇 개 남았지?”, “팀원들은 어디서 일하고 있지?”, “오후 2시 회의실을 예약해 줘”, “온 결재를 알려 주고 승인해 줘” 같은 요청을 자연어로 처리할 수 있다고 설명한다.

이때 웍스 AI는 기존 시스템을 대체하기보다 그 위에 놓인 프런트엔드가 된다. 사용자가 여러 메뉴를 찾아 들어가는 대신, 에이전트가 해당 시스템을 조회하고 필요한 액션을 실행한다. 읽기 권한과 승인 권한은 작업별·사용자별로 분리해야 한다는 운영 과제도 함께 따라온다.

[15:32] 13. 공장 데이터와 원가 정보를 부서별 에이전트로 연결하기

고객사들은 SAP를 연결해 원가 정보를 계산하고 매일 아침 경영진에게 보고하는 워크플로를 만들거나, 공장 DB의 생산량·수율을 읽어 특정 부서에만 공유되는 에이전트를 만들고 있다고 한다. 실제 현장을 잘 아는 부서가 “무엇을 보고 싶은지”를 정의하고, 데이터 연결과 권한 부여는 IT가 맡는 분업이 중요하다.

모든 사내 데이터를 모든 사용자에게 열어 주는 것이 목표가 아니다. 민감한 생산 정보는 접근해야 하는 부서에만 제공되는 MCP와 에이전트로 제한해야 한다. 업무 가치와 데이터 보안을 함께 설계해야 밸류맥싱이 운영 단계로 넘어갈 수 있다.

[16:40] 14. 도구를 20개 붙이면 모델의 선택이 병목이 된다

한화 사례에서는 원가·생산·사내 데이터에 접근하는 MCP를 약 20개 연결했다. 처음에는 모델에게 도구 목록과 결과 형식만 알려 주고 자유롭게 선택하게 했지만, 어떤 데이터는 어느 도구에서 찾아야 하는지 모델이 매번 다르게 판단했다.

그 결과 작업 순서와 출력이 달라지고, 같은 목적을 달성하는 데 불필요한 도구 호출이 끼어들어 토큰 낭비가 커졌다. 에이전트의 자율성을 늘리는 것만이 정답이 아니라, 자율적으로 판단할 영역과 고정해야 할 경계를 분리해야 한다는 사례다.

[17:58] 15. 경량 모델은 플래너, 강한 모델은 결과 해석자

대표가 소개한 개선 방식은 사용자의 요구, 사용 가능한 도구, 원하는 결과물의 형식을 경량 LM에 먼저 주고 작업 순서를 만들게 하는 것이다. 그 뒤 플래그십 LM에는 이미 정리된 워크플로와 수집된 결과를 넘긴다.

이렇게 하면 강한 모델이 처음부터 모든 도구를 탐색하지 않아도 되고, 결과의 형식과 절차가 더 안정된다. 작업 계획·도구 선택·실행·최종 해석을 한 모델의 자유로운 루프에 모두 맡기지 않고, 비용이 싼 단계와 품질이 필요한 단계를 나누는 패턴이다.

[19:08] 16. 반복 가능한 순서는 결정론적 MCP로 고정한다

어떤 고객사는 경량 LM의 계획조차 불필요한 업무에 Python 프로그램으로 순서를 고정한 MCP를 만들었다. 사용자가 질문하면 정해진 MCP를 먼저 호출하고, MCP가 데이터 수집과 변환을 순서대로 수행한 뒤 결과만 LLM에 전달한다.

이 구조의 장점은 재현성이다. 데이터 조회 순서와 전처리가 바뀌지 않으므로 결과 편차와 불필요한 탐색 토큰을 줄일 수 있다. 반대로 규칙화하기 어려운 해석과 요약은 LLM에 남긴다. 영상이 말하는 밸류맥싱은 모델을 무조건 자율적으로 만드는 일이 아니라, 자율성이 필요한 곳에만 쓰는 설계에 가깝다.

[19:58] 17. 투자검토 MCP의 네 단계

투자검토 에이전트는 경영진이 “이 회사에 투자해도 되는가?”라고 물었을 때 다음 순서를 고정한다.

1. DART에서 공시와 기업 정보를 조회한다.
2. NICE 등 신용평가 데이터에서 추가 정보를 가져온다.
3. 수집한 내용을 PDF 문서로 정리한다.
4. 완성된 자료를 LLM에 넘겨 투자 판단을 보조하는 결과물을 만든다.

화면의 다이어그램처럼 데이터 수집과 문서 생성은 MCP가 결정론적으로 맡고, LLM은 이미 정리된 자료를 바탕으로 판단을 보조한다. 이 방식은 “모델이 무엇을 찾아야 할지”와 “찾은 자료로 어떤 결론을 낼지”를 분리한다.

[21:53] 18. 과거에 만든 데이터 레이크가 지금의 연결 자산이 된다

빅데이터 열풍 때 데이터 레이크와 내부 플랫폼을 구축해 둔 회사는 사내 데이터를 디지털화·중앙화해 두었기 때문에, 이제 MCP라는 파이프를 연결해 AI에 공급하기 쉽다고 설명한다. 반대로 데이터가 부서별 파일과 오래된 시스템에 흩어져 있으면 MCP 이전에 데이터 정리·권한·품질 문제를 먼저 해결해야 한다.

예전에 “데이터를 정리해 두라”는 조언이 AI에 크게 도움이 되지 않는 것처럼 보였더라도, 모델이 도구를 호출하고 실제 시스템을 사용할 수 있게 되면서 그 기반의 가치가 커졌다는 것이 영상의 관찰이다. 준비된 데이터 계층이 에이전트 도입 속도를 좌우한다.

[22:52] 19. RAG만으로는 문서 기반 답변의 한계가 남는다

화면은 300페이지 PDF → 문서 청킹 → 유사도 검색 → 관련 문단 일부 → LLM → 답변의 흐름을 보여준다. 발표자는 300페이지 인사 규정에서 육아휴직 문단 일부만 찾아 모델에 넣는 전통적인 RAG 방식이, 관련 문단을 잘 찾더라도 숫자와 예외까지 항상 정확하게 보장하는 방식은 아니라고 설명한다.

이 대목은 RAG가 쓸모없다는 뜻이라기보다, 문서 검색과 생성만으로 업무의 모든 정확성 요구를 해결하려는 기대를 경계하는 주장이다. 정형 데이터와 숫자는 원천 DB를 직접 조회하고, 규칙과 승인 절차는 코드나 결정론적 워크플로로 고정하며, LLM은 근거를 읽고 설명하는 역할로 제한하는 편이 더 안전하다는 방향으로 이어진다.

[24:02] 20. 자연어 질문을 실제 데이터와 근거 기반 답변으로 연결하기

마지막 화면은 사용자 질문 → MCP 호출 → Text to SQL → 사내 DB 조회 → 실제 데이터 → LLM → 근거 기반 답변의 순서를 제시한다. 사용자의 자연어를 SQL로 변환해 데이터베이스에서 필요한 값을 조회하고, 그 결과를 맥락으로 넣어 답을 생성하는 구조다.

발표자는 MCP와 데이터 품질, 모델 성능이 함께 좋아지면서 사내 AI 활용이 본격화되고 있다고 정리한다. 핵심은 “LLM이 모든 사실을 기억한다”가 아니라, 질문을 권한 있는 데이터 소스에 연결하고 실제 값을 가져온 뒤, 모델이 그 근거를 설명하게 만드는 것이다.

부록 — 실전 체크리스트

• 토큰 사용량을 성과로 삼지 말고 처리 시간·오류율·품질·비용·의사결정 속도 등 업무 결과 지표를 먼저 정한다.
• 전사 도입 첫 주의 급증/급락만 보고 끄지 말고, 몇 주 동안 직무·업종·망분리·숙련도별 사용 패턴을 관찰한다.
• 반복 업무 하나를 골라 현재 사람이 하는 순서, 입력 데이터, 승인 지점, 최종 결과물을 명시한다.
• 사내 DB·ERP·그룹웨어·공공 데이터 중 권위 있는 원천을 정하고 MCP로 연결하되, 부서·사용자별 최소 권한을 적용한다.
• 반복 가능하고 순서가 고정된 단계는 Python/SQL/결정론적 MCP로 고정하고, LLM에는 해석·요약처럼 판단이 필요한 일을 맡긴다.
• 도구가 많아질수록 경량 모델을 플래너로 쓰거나 도구 라우팅을 별도 계층으로 분리해 불필요한 호출을 줄인다.
• 같은 질문을 여러 번 실행해 결과 일관성, 근거 출처, 비용, 실패 시 복구 경로를 확인한다.
• RAG 답변은 원천 DB·규칙 엔진·승인 워크플로와 구분하고, 숫자·권한·법률·재무 판단은 검색 결과만으로 확정하지 않는다.

원문 인용 모음

• [00:08] “AI로 얼마나 가치를 창출할 것인가”
• [00:39] “지난 2년간 22배가 늘었다고 합니다.”
• [01:03] “토큰을 낭비한다. 에이전트가. 그다음에 일관성이 떨어진다.”
• [02:28] “모든 모델을 다 쓸 수 있고, 한도도 정해 놓을 수 있고”
• [04:50] “몇 주만 일단 두세요. 그러면 수렴합니다.”
• [06:46] “진짜로 법제처에 가서 현행법을 뒤져요.”
• [07:14] “사용자는 한두 문장을 질문했을 뿐인데”
• [09:16] “전체 기업의 73%가 그냥 예산 조기 소진”
• [09:26] “사람이 100번 쓸 대화를 에이전트가 요새는 한 번 쓴다.”
• [10:03] “저희도 경량 모델 다 있지만 당연히 오퍼스 4.8, 지금 요새 오퍼스 5만 씁니다. 내 돈 내산이 아니기 때문에.”
• [10:59] “그동안의 효율을 극대화하자는 게 토큰맥싱의 가장 기본”
• [12:44] “우리 회사 업무에 도움되는 걸 해보자”
• [17:48] “경량 LM이 앞에서 한번 돌아가지고 먼저 워크플로를 짜요.”
• [20:00] “1번 다트에서 이 회사의 정보를 줘야 한다.”
• [22:00] “MCP 파이프만 꽂으면 AI한테 바로 줄 수 있어서”
• [24:15] “지금이야말로 진짜 AI를 사내에서 활용할 수 있는 본격적인 시대가 된 거죠. 드디어 이제 MCP 덕분에 꽃이 폈다.”

관련 노트

• moc-ai-agents — 기업용 에이전트·도구 호출·운영 패턴을 모은 허브.
• moc-ai-agents-context-stack — 데이터·도구·컨텍스트를 에이전트에 공급하는 계층 관점.
• moc-ai-agents-orchestration — 플래너·워크플로·멀티에이전트 오케스트레이션 관련 노트.
• moc-mcp — MCP 서버·클라이언트·데이터 연결 노트의 허브.
• moc-ai-coding — 토큰 비용과 AI 코딩/에이전트 운영 관련 노트.