출처 https://youtu.be/PYpRfmwo92E · 채널 노정석 (AI 프론티어 팟캐스트) · 길이 46:41 포맷 노정석·최승준·박종현(2회째 참여) 세 진행자의 대담. 최승준과 박종현이 각각 미리 정리해 둔 Notion 노트(다시 Fable 5 + GPT 5.6 Sol / Arena vs Artificial Analysis)를 화면 공유로 넘기며 트윗·블로그·차트·PPT를 함께 짚어 나간다. 원본 자막:
raw/transcripts/2026-07-13-ai-frontier-ep103-understanding-bottleneck.ko.srt
한눈에 보는 요약
- Fable이 다시 돌아왔고, 다들 사용량이 순삭됐다. 노정석은 생물학 관련 이야기만 꺼내도 가드레일에 걸려 Opus 4.8로 강제 전환되고, 박종현은 리뷰 한 번 시켰다가 30분 만에 Max 5시간 쿼터를 다 썼다. “두 배 좋다, 세 배 좋다는 느낌은 아니다”라는 게 공통된 체감이다.
- 핵심 화두는 “이해가 새로운 병목이다.” Thariq Shihipar(Anthropic)와 Geoffrey Litt(Notion 출신)가 각각 트윗·블로그로 던진 주장으로, 모델이 잘할수록 사람이 “이게 왜 이렇게 됐는지” 따라가지 못하는 인지 부채가 쌓인다는 문제의식이다. “지도는 영토가 아니다”라는 비유, 구현 전/중/후 3단계 프레임워크, 그리고 결과물에 곁들이는 퀴즈·HTML 보고서가 그 해법으로 소개된다.
- Simon Willison의 위임 실험도 같은 맥락. “모든 코딩 작업에 적절한 저성능 모델을 스스로 판단해 서브에이전트에서 실행해줘”라고 지시하자 Claude가 Sonnet 5/Haiku로 작업을 분배하고, 그 판단 이유를 자기 메모리 파일에 “구현에는 최상위 모델이 필요한 경우가 드물다, 판단·리뷰·종합은 메인 루프에 남긴다”고 적어뒀다.
- 노정석은 이 담론 자체에 기시감을 느낀다. “이해해야 한다”는 강박은 예전에도 늘 있었던 프레임워크 반복 아니냐는 반론이다. 지금의 담론을 주도하는 건 결국 “형식지 교육을 받은 우리 세대”이고, 10~20대는 이미 다르게(예: README에 “사람은 읽지 마세요”라 써놓고) 일하고 있을 수 있다는 것.
- 박종현은 AI를 쓸수록 자기 뇌가 cyberpsycho가 되어가는 느낌이라고 고백한다. 노정석의 대응법은 “토끼굴 게이트”— 결과에 도움 안 되는 건 그냥 덮고 다음 레이어로 넘긴다. 검증은 같은 모델에게 “이거 진짜 맞아?”를 세 번 묻는 식으로 처리한다(회사 회계 장부도 이 방법으로 원 단위까지 맞았다고).
- 후반부는 평가 지표 얘기. Artificial Analysis(시험형 벤치마크)와 LMArena(사람 선호도 기반 Elo)를 비교하고, Llama 4가 튜닝된 비공개 버전을 LMArena에 올려 1위를 찍은 뒤 정작 실제 배포 모델은 형편없었던 “게이밍” 사건을 되짚는다. 결론은 jagged intelligence — 수학 올림피아드는 잘 풀어도 소설·개그는 여전히 못 쓴다.
- Evaluation 자체가 사업이 되고 있다. LMArena는 비영리에서 영리로 전환해 17억 달러 밸류에 투자를 받았고, Irregular 같은 회사는 실제 시스템 침투(제로데이 취약점 발견) 기반으로 모델의 사이버 역량을 평가한다. Audio·Robotics로 가면 평가 자체가 더 어려워져 여기에도 새 사업 기회가 있다는 관측으로 마무리된다.
장면별 상세 설명
[00:00] 1. 다시 돌아온 Fable — 다들 가드레일에 걸리고, 쿼터는 순삭
녹화일은 2026년 7월 4일 토요일 아침. 화면에는 최승준이 미리 정리한 Notion 노트 “다시 Fable 5 + GPT 5.6 Sol”이 떠 있고, 2025년 11월 Opus 4.5부터 시작하는 Claude 모델 출시 타임라인 표가 보인다. 노정석은 자신이 쓰는 영역(생물학 관련 주제)이 전부 가드레일에 걸려 무조건 Opus 4.8로 전환된다고 토로하고, 박종현은 코드 리뷰를 한 번 시켰다가 에이전트를 동시에 여러 개 풀어놓은 채 Max 요금제의 5시간 쿼터를 30분 만에 다 썼다고 말한다. 박종현의 총평은 “리뷰해준 내용을 정확히 다 따라가는 게 오히려 느려서 일단 최대한 많이 돌려놓고 있다 — 인지가 못 따라가는 상황”이다. 최승준은 “와, 이건 두 배 좋은데, 세 배 좋은데 이런 느낌은 아니다”라는 노정석의 촌평에 공감하며, 오늘은 화려한 사례보다 방향성 얘기를 해보자고 문을 연다.
[00:02] 2. 모델 타임라인 표, 그리고 수확 체감이 갈리는 지점
표를 끝까지 스크롤하면 Claude Mythos 5·Claude Fable 5(둘 다 2026-06-09)를 거쳐 Claude Sonnet 5(2026-06-30)까지 이어진다. 화면 하단에는 “Fable 5의 출시와 가격” 섹션이 이어지는데, 접근 제한 관련 조치 시행일이 2026년 7월 1일로 적혀 있다(안트로픽 표기). 노정석은 자원이 풍부한 쪽은 늘 최고 모델을 택해왔으니 당연하지만, 그렇지 않은 다수에게는 Opus나 GPT-5.5 수준으로도 충분히 풀리는 문제가 많아 회사 입장에서 실험을 걸어볼 시점이라 짚는다. 최승준은 “수확 체감이 느껴지면 굳이 비싼 모델을 쓸 필요가 없다”며, 지금이 자기 문제에 맞는 모델을 더 신중히 고르는 가격대 진입 시점이라 정리한다. 박종현은 “제가 어떻게 말해도 확실히 훨씬 더 잘 알아듣는다”는 체감을 보태고, 노정석은 그만큼 사람의 기대치도 같이 올라가 “잘하던 걸 조금만 못해도 짜증이 난다”고 덧붙인다.
[00:03] 3. Minecraft 버그를 사용량 20%로 해결한 사건
최승준이 한 달째 붙잡고 있던 Minecraft 안 에이전트 작업 — 다른 에이전트를 만드는 작업에도 전이될 거라 기대하며 진행 중이던 프로젝트 — 에서, Opus 4.8과 Codex로도 못 풀던 버그 몇 개를 Fable에 맡기자 순식간에 풀렸다. 문제는 그 한두 문제를 푸는 데 전체 Fable 사용량의 20%를 써버렸다는 것. “이러면 안 되겠다”고 느낄 즈음, Simon Willison이 AI Engineer 컨퍼런스에서 있었던 Claude Code 팀 Cat Wu·Thariq Shihipar의 fireside chat 내용을 포스팅했다는 이야기로 넘어간다.
[00:04] 4. Simon Willison의 위임 실험 — “저성능 모델에 맡겨라”
Simon Willison이 Claude Code에 입력한 프롬프트: “모든 코딩 작업에 대해, 적절한 저성능 모델을 스스로 판단해서 선택하고 그것을 서브에이전트에서 실행해줘.” Claude는 이 지시를 ~/.claude/projects/name-of-project/memory/delegate-coding-to-subagents.md라는 메모리 파일에 저장했고, 그 안에는 “이유: 비용과 효율성 때문이다. 구현 작업에는 최상위 모델이 필요한 경우가 드물다. 판단, 리뷰, 종합은 메인 루프에 남겨둔다”는 설명까지 스스로 적어뒀다. 실제로 Sonnet 5로 어떤 일을 하고 더 작은 일감은 Haiku에게 맡기는 식으로 작업을 분배했다고 한다. 최승준은 이것이 "세세하게 지시하지 말고 스스로 판단하게 하라"는, 요즘 Anthropic 기술 스태프들 사이에서 공통적으로 나오는 이야기와 일맥상통한다고 짚는다.
[00:06] 5. Anthropic과 OpenAI, 사고방식의 차이
노정석은 이 위임 패턴이 Opus가 비싸게 느껴지던 6~7개월 전 “판단은 Opus, 코딩은 Sonnet”이라던 방식과 동형이라 지적한다. 그사이 Max 요금제 등장으로 Opus가 체감상 싸져서 지금은 모든 일을 Opus로 하는 세상이 됐는데, 앞으로 Fable의 가격이 부담스러운 수준에 계속 머물지, 아니면 경쟁·기술 진보로 토큰 가격 곡선을 타고 내려갈지가 관전 포인트라 말한다. 이어 Anthropic과 OpenAI의 철학 차이를 짚는다 — Anthropic은 thinking tokens 자체보다 모델이 “원샷 원킬”을 잘 하게 만드는 쪽에, OpenAI(ChatGPT)는 여전히 test-time compute를 늘리면 작은 모델도 크게 좋아진다는 쪽에 기대를 걸고 있다는 것. 노정석은 이를 “천재 한 명이 일필휘지로 끝내는 일 vs 적당한 사람 열 명이 필요한 일”이라는 회사 비유로 설명한다.
[00:09] 6. “이해가 새로운 병목이다” — 지도는 영토가 아니다
박종현이 앞서 말한 “생성된 코드를 리뷰할 때 느끼는 인지 부채”에서 실마리를 얻어, 최승준은 Anthropic의 Thariq Shihipar가 올린 트윗/그림을 소개한다. 핵심 문장: “Claude Fable 5와 함께 일하다 보면 오래된 교훈을 계속 다시 배우게 된다 — 지도는 영토가 아니라는 것.” 지도(내가 Claude에게 주는 프롬프트·스킬·컨텍스트)와 영토(코드베이스·현실 세계·실제 제약) 사이의 간극을 “나의 미지의 것들(my unknowns)“이라 부르며, “할 일이 많아질수록 Claude가 틀릴 수 있는 미지의 것도 많아진다 — Fable의 작업 품질은 내가 그 미지의 것들을 얼마나 잘 명확히 하느냐에 의해 병목되는 첫 번째 모델”이라는 인용이 이어진다. Donald Rumsfeld의 known/unknown 4사분면(known unknowns, unknown unknowns 등)을 끌어와 “Claude가 이런 상태에 있다면 빙산의 밑부분을 드러낼 수 있게 도우라”는 식으로 활용한다고 소개된다. 박종현은 “Fable 이전에도 나는 똑같이 느꼈는데 왜 굳이 Fable 때문에 병목이 더 심해졌다는 거냐”고 묻고, 노정석은 “생각이 더 깊어졌다는 뜻일 뿐, 6개월 뒤 다음 세대 모델이 나와도 똑같은 얘기를 할 것”이라며 이 담론이 반복되는 패턴이라 짚는다.
[00:12] 7. 구현 전/중/후: 사각지대를 찾는 루틴
Thariq의 글은 구현 전·중·후 3단계로 미지의 것을 다루는 방법을 제시한다. 구현 전에는 “사각지대 자각”(blind spot pass) — 내가 지금 인식하지 못하는 것을 인식하기 위해 Claude와 함께 아이디어를 내고 시제품을 만들거나, 그래도 남는 미지의 것은 Claude에게 인터뷰를 받는다(전문가 인터뷰나 CTA, Cognitive Task Analysis 도메인에서 쓰는 방법과 유사). 구현 중에는 계획·노트를 만들고 이탈 사항을 기록하며 계속 압축해 나간다 — 최승준은 이게 결국 LLM 위키 같은 “확장된 두뇌” 기록 패턴과 통한다고 짚는다. 구현 후에는 다른 사람이나 다른 모델을 설득할 자료를 만들고, 마지막으로 퀴즈를 본다.
[00:14] 8. 퀴즈로 스스로를 검증하기
“긴 작업 세션이 끝난 뒤에는 Claude가 내가 인식한 것보다 훨씬 많은 일을 해냈을 수 있다. 코드 diff를 읽는 것만으로는 무슨 일이 일어났는지 얕게만 이해할 수 있다”는 문제의식에서, Thariq은 "Claude에게 많은 컨텍스트를 제공한 뒤 변경 사항에 대해 나를 퀴즈 내게 하면 실제로 무슨 일이 일어났는지 이해하는 데 도움이 된다"고 말한다. 실제 프롬프트: "이 변경에서 일어난 모든 일을 제가 제대로 이해했는지 확인하고 싶습니다. 변경 사항에 대한 HTML 보고서를 만들어 주세요. 제가 읽고 이해할 수 있도록 컨텍스트, 직관, 수행된 작업 등을 포함하고, 맨 아래에는 제가 반드시 통과해야 하는 퀴즈를 넣어 주세요." 그는 퀴즈를 완벽하게 통과한 뒤에만 머지한다고 한다.
[00:16] 9. Thariq이 실제로 한 일 — FFmpeg도 모르면서 영상 편집
Fable 출시 영상 자체를 Claude Code가 편집했다는 이야기로 이어진다. Thariq은 FFmpeg를 몰랐지만 Claude에게 영상 편집·전사 방식이 어떻게 작동하는지 물어보고 배웠고, ElevenLabs 활용과 컬러 그레이딩까지 Claude에게 가르침을 받아 자신의 “미지의 것들”을 발견하고 해결했다고 말한다. 노정석은 이 대목에서 ClaudeDevs 트윗의 문장 — “우리는 예전에 Claude가 일을 제대로 했는지 검증했다. 이제는 그것이 옳은 일을 하고 있는지 검증한다” — 을 “지도가 영토를 촘촘하게 맞춰가는” 은유의 실사례로 짚는다.
[00:16:54] 10. YouTube 퀴즈 기능과 Geoffrey Litt의 등장
박종현은 최근 YouTube에 영상 업로드 시 퀴즈를 함께 올릴 수 있는 기능이 생겼다는 걸 떠올린다. 그는 시청자로서 영상이 길면 Gemini 요약 버튼부터 눌러 내용을 압축해 머리에 넣다 보니 “영상은 많이 봤지만 세부 내용은 놓치는” 상황이 반복된다고 말하고, 이런 흐름 자체가 “이해가 새로운 병목이다”라는 문구가 가리키는 시대상이라 짚는다. 최승준은 “마찰이 걸리지 않으면 인간 뇌에는 배움이 일어나지 않는다”고 맞장구치며, 이 주제를 정면으로 다룬 최근(2026년 7월) 트윗의 저자 — Notion 출신 Geoffrey Litt — 을 소개한다.
[00:18:11] 11. Explain Diff, 그리고 마이크로월드
Geoffrey Litt(MIT CSAIL 출신)의 글은 “에이전트가 우리를 위해 점점 더 많은 코드를 쓰고 있고, 그걸 따라가기 어려워지고 있다는 걸 모두가 안다”는 문장으로 시작한다. 그는 Seymour Papert의 옛 “마이크로월드” 개념을 끌어와, diff를 설명해주는 스킬 Explain Diff를 직접 만들어 공개했다고 소개된다. 이 스킬로 만든 결과물을 Notion 페이지나 HTML로 만들 수 있는데, 정작 본인은 그걸 인쇄해서 늘 가지고 다니며 메모하면서 읽는다고 한다. 여기에 Andy Matuschak과 Michael Nielsen이 양자컴퓨팅을 소개할 때 썼던 니모닉 기법 — 글 중간중간 퀴즈를 내는 방식 — 이 “AI 루프의 속도 조절 장치”로 다시 등장한다.
[00:20:33] 12. “루프 밖이 아니라, 루프 안으로 더 깊이”
글의 결론부 제목은 “It’s important for Humans to Understand How Things Work”이고, “핵심은 언제나 증강이었다”는 문장과 함께 Alan Kay를 인용하며 마무리된다. 마지막 인용: “이 점 때문에 저는 미래에 대해 매우 낙관적입니다. 우리가 올바른 도구를 만든다면 우리는 그 어느 때보다 세상을 더 깊이 이해할 수 있습니다. 우리는 단지 루프에서 빠져나오기만 할 필요가 없습니다. 오히려 루프 안으로 더 깊이 들어갈 수도 있습니다. 그것은 우리에게 달려 있습니다.” 최승준은 이를 “사람은 루프 바깥에 있으면 된다”는 최근 유행하는 loop engineering 담론을 비트는 문장으로 읽는다 — 루프를 짜놓고 모델에 맡기는 게 아니라, 루프 안에서 바닥의 일을 깊이 이해하며 자기 역량을 높이는 데도 지금의 방법론이 통한다는 인상이다.
[00:21:34] 13. 노정석의 반론 — 프레임워크는 늘 반복되고, 세대는 다르게 배운다
노정석은 여기서 제동을 건다. 시대를 분해하고 해석의 틀을 만드는 시도는 늘 있어 왔다는 것 — 사회 초년생 시절 컨설팅 프레임워크를 잔뜩 익히다가, 현실 문제를 몇 번 겪고 나면 그 형식론에서 탈출하게 되는 패턴과 지금 “AI와 어떻게 일할까”를 논하는 방식이 10년 전 Harvard Business Review식 조직론과 거의 동형이라는 것이다. 그는 지금 담론이 결국 하위 레이어의 형식지로 통째로 빠질 가능성이 있고, 고등학생·대학 초년생은 이미 다르게 학습하고 있을 수 있다고 짚는다. 박종현은 20대 초반 개발자 영규님의 “Oh My OpenCode” 프로젝트를 예로 든다 — README에 “사람은 읽지 마세요”라고 써놓았는데, 이는 “README는 대문에서 빨리 읽으라고 쓰는 것”이라는 우리 세대의 가정 자체가 다음 세대에는 통하지 않는다는 신호다. 박종현은 이어서 스스로도 “제 이해가 병목이다, 제 뇌가 부족하다는 생각이 든다”고 솔직하게 고백한다.
[00:25:32] 14. Cyberpunk 2077의 cyberpsycho처럼
박종현은 자신과 친구들이 쓰는 표현을 소개한다 — 『Cyberpunk 2077』에서 몸에 기계·화학 증강을 계속하다 뇌가 타들어가 망가지는 cyberpsycho 설정처럼, AI를 쓰면서 스스로 그렇게 되어가고 있다고 느낀다는 것. “cyberpsycho가 되지 않으면서 최대한 증강할 수 있는 법”을 시청자에게 묻고 싶다고 말한다. 최승준은 작년 댓글에서 추천받아 Neil Gaiman의 『수학자들』(AI가 등장하는 SF)을 밤새 세 권 연속으로 읽었던 경험을 떠올리며, 댓글에서 배울 때가 확실히 있다고 덧붙인다.
[00:28:34] 15. 세 번 물어보기, 그리고 균형 감각
노정석은 자신의 대응법을 공개한다 — 이제는 “이건 알아봐야 내 결과에 도움이 안 된다”는 판단이 서면 그냥 덮고 “해줘, 해줘” 모드로 loop를 돌리는 토끼굴 gate가 하나 생겼다는 것. 다만 완전히 손을 놓는 건 아니고, 결과가 나오면 “회고해줘”가 아니라 “이거 진짜 맞아?”를 같은 모델에게 세 번 물어본다 — 세 번 다 “맞습니다”라고 하면 그냥 믿고 넘어간다. 회사 회계 장부도 이 방법으로 세 번 돌려 원 단위까지 거의 맞았다고 한다. 최승준은 자신도 Claude Code·Codex·최승준 셋이서 각자 토론용 파일을 소유한 채 polling하며 의견을 주고받는 “삼위일체” 방식을 실험하고 있다고 덧붙인다 — 다만 이건 알고 싶은 성향 때문에 토론에 직접 끼어드는 쪽이라고.
[00:31:13] 16. Evaluation 얘기로 — Artificial Analysis 지표
박종현이 바통을 이어받는다. “그래서 Fable 좋아요?”라는 질문에 그는 “체감은 task마다 너무 달라서 명확히 말하기 어렵다”고 답하며, 정형화된 벤치마크를 채점하는 Artificial Analysis Intelligence Index부터 본다 — 역시 Fable이 1위다. 다만 그는 이 지표에 회의감도 표한다: 벤치마크는 문제와 정답이 이미 나와 있어(rolling benchmark로 계속 갱신하기도 하지만) hacking 당할 여지가 있다는 것. 대안으로 인간 선호도 기반 Elo 방식인 LMArena를 소개하는데, 최근 비영리에서 영리로 전환하며 투자를 크게 받았고, agent mode가 생겨 tool call까지 시킨 뒤 결과의 좋고 나쁨을 사람이 평가하는 방식으로 확장됐다고 설명한다.
[00:33:57] 17. PPT를 직접 만들게 시켜보고, Llama 4 사건을 되짚다
박종현은 LMArena와 Artificial Analysis의 evaluation 방식을 조사시키고 PPT를 만들게 하는 프롬프트를 Arena.ai와 Fable 양쪽에 똑같이 시켜봤다 — 디자인은 다르지만 조사 결과 자체는 크게 다르지 않았다고 한다. 생성된 PPT에는 중국어가 섞여 있어, 뒤에서 돌아가는 테스트용 agent mode 모델이 중국 기반일 가능성을 추론해볼 수 있었다고. 이어서 그는 LMArena 점수를 더 이상 맹신하지 않게 된 계기를 소개한다 — 약 1년 전 Llama 4 출시 당시, 메타가 비공개로 튜닝한 버전을 일주일간 LMArena에 올려 1~2위를 찍은 뒤 출시와 동시에 이름을 공개했는데, 정작 실제 배포된 Llama 4는 형편없었다. 알고 보니 여러 튜닝 버전을 모두 테스트해 그중 1등만 남긴 것 — 인간 선호도 역시 튜닝으로 해킹 가능한 수준의 벤치마크임을 보여준 사건으로, 이후 LMArena는 동시에 여러 버전을 올리지 못하도록 정책을 강화했다고 한다.
[00:38:38] 18. Jagged intelligence — 수학은 잘 풀어도 개그는 못한다
박종현은 지금의 LLM 발전이 “특정 evaluation 깃발 하나를 꽂고 그걸 정복해 나가는” 방식이라 지적한다 — coding이면 SWE-bench 같은 특정 벤치마크의 데이터 분포에 맞게 잘하게 되는 식으로, 모든 깃발을 다 정복해야 일반지능(AGI)에 가까워지는데 지금은 jagged intelligence, 즉 “이건 잘하는데 왜 이건 못하지”인 상태다. 그가 드는 예: LLM은 IMO급 어려운 수학 문제는 잘 풀면서 소설을 쓰라면 앞뒤가 안 맞고 개그를 쓰라면 하나도 안 웃기다 — 결국 사람의 취향·유머 같은 영역은 evaluation 자체가 어렵기 때문이라는 게 그의 해석이다. LMArena 같은 인간 선호도 데이터가 쌓이면 이런 영역도 잘하게 될지가 흥미롭게 지켜보는 지점이라고.
[00:39:59] 19. 3Blue1Brown과의 인터뷰, 그리고 Evaluation이라는 사업
최승준이 언급한 Dwarkesh Podcast의 3Blue1Brown(Grant Sanderson) 편으로 잠시 새는데, 박종현은 리만 가설 얘기까지 나와 완전히 이해하진 못했지만 재미있었다고 추천한다. 이어 evaluation이 곧 큰 사업이라는 관측으로 돌아온다 — LMArena는 8개월 만에 매출 1억 달러를 냈고, 이유는 빅테크들이 자사 모델에 대한 사람들의 만족/불만족 데이터 자체를 사려 하기 때문이다. Irregular라는 회사는 조금 다른 방식으로 evaluation 사업을 한다 — 실제 시스템에서 목표를 달성해야 하는 테스트로, 화면에 보이는 노트에 따르면 GPT-5.6 Sol이 FrontierCyber 197개 중 19개, CyScenarioBench 11개 중 7개, Atomic 고난도 22개 전부를 최소 1회 해결했고 실제 고영향 제로데이 취약점(오픈소스 DB 서버, 최신 모바일 기기, 샌드박스 런타임 탈출)을 찾아 당사자에게 책임 있게 제보했다고 한다. 다만 이 평가는 안전장치가 걸린 배포 모델이 아니라 capability-elicitation 환경에서 진행됐고, 장기적 자율 수행에는 여전히 한계가 있다는 단서가 붙는다. 노정석은 데이터셋·evaluation 모두 빅테크가 제일 많은 돈을 쓰고 있고, 전문가를 초빙해 도메인 특화 데이터셋을 만드는 것도 활발하다고 덧붙인다.
[00:43:39] 20. Audio·Robotics로 가면 평가가 더 어려워진다, 그리고 마무리
박종현은 LLM을 넘어 최근 관심 있는 audio·robotics(VLA) 쪽은 evaluation이 훨씬 어렵고 데이터 자체도 비싸다고 짚는다. YC 배치에도 물리 환경 데이터를 모으는 회사, evaluation 자체를 모델로 만들려는 회사(과거 RLHF의 PPO에 쓰이던 surrogate model과 비슷한 발상)가 늘고 있다는 것 — 커피를 잘 내렸는지 같은 subtask를 영상으로 보고 점수 매기는 범용 reward 모델에 관심이 몰린다고 한다. 노정석은 “결국 scalar 하나가 떨어져야 목표가 생기고, 그 목표를 향해 뭐든 만들게 된다”고 정리한다. 마무리 인사에서 노정석은 미 정부 개입으로 스토리라인이 꼬이긴 했지만 발전 방향 자체는 거스를 수 없다고 말하고, 이번 주 서울 ICML 참석 소식을 다음 에피소드에 전하겠다고 예고하며 박종현과의 두 번째 에피소드를 마무리한다.
핵심 개념·용어 메모
- “이해가 새로운 병목이다” — Thariq Shihipar(Anthropic)와 Geoffrey Litt(전 Notion)가 각각 던진 화두. 모델이 잘할수록 사람이 “왜 이렇게 됐는지”를 따라가지 못해 인지 부채가 쌓인다는 문제의식. “지도는 영토가 아니다”(Alfred Korzybski)라는 비유로 설명된다.
- 구현 전/중/후 프레임워크 — Before(사각지대 자각·브레인스토밍·인터뷰·참고자료·구현계획) → During(구현 노트, 이탈사항 기록) → After(설득자료, 퀴즈). 퀴즈를 완벽히 통과해야 머지한다는 게 핵심 습관.
- 서브에이전트 모델 위임 — Simon Willison이 Claude Code에 “저성능 모델을 스스로 판단해 서브에이전트에서 실행하라”고 지시하자, Claude가 그 이유(비용·효율성, 구현엔 최상위 모델이 드물게 필요, 판단·리뷰·종합은 메인 루프에 남김)를 메모리 파일에 스스로 기록했다.
- 토끼굴 게이트 + 세 번 물어보기 — 노정석의 실전 검증법. “알아봐야 결과에 도움 안 된다” 싶으면 하위 레이어는 덮고, 결과 검증은 같은 모델에게 “진짜 맞아?”를 세 번 물어 세 번 다 “맞다”고 하면 신뢰한다.
- Artificial Analysis vs LMArena — 전자는 정형화된 시험(벤치마크) 채점형 지표, 후자는 사람의 A/B 선호도 기반 Elo 지표. Llama 4가 비공개 튜닝 버전을 LMArena에 올려 1위를 찍은 뒤 실제 배포 모델은 형편없었던 사건 이후, 인간 선호도 지표도 튜닝으로 해킹 가능함이 드러났다.
- jagged intelligence — 특정 evaluation 벤치마크(깃발)를 하나씩 정복해나가는 지금의 LLM 발전 방식이 낳는 현상. IMO 수학은 잘 풀어도 소설·개그는 여전히 서투르다 — evaluation이 어려운 영역이라는 게 원인으로 지목된다.
- Evaluation 자체가 사업 — LMArena(비영리→영리, 17억 달러 밸류), Irregular(실제 시스템 침투 기반 사이버 역량 평가) 등 evaluation을 파는 회사들이 빅테크를 고객으로 성장 중. Audio·Robotics(VLA)는 evaluation이 더 어렵고 데이터가 비싸 향후 사업 기회로 지목된다.
등장한 사람·조직·키워드
노정석·최승준·박종현(진행자), Anthropic(Claude Fable 5·Mythos 5·Sonnet 5), Simon Willison, Cat Wu·Thariq Shihipar(Claude Code 팀), Geoffrey Litt(전 Notion, MIT CSAIL), Seymour Papert(마이크로월드), Andy Matuschak·Michael Nielsen(니모닉 퀴즈), Alan Kay, Donald Rumsfeld(known/unknown 4사분면), Alfred Korzybski(“지도는 영토가 아니다”), Mitchell Hashimoto, 영규(Oh My OpenCode), Neil Gaiman(『수학자들』), Artificial Analysis, LMArena(Llama 4 사건), Irregular(FrontierCyber·CyScenarioBench·Atomic), Dwarkesh Podcast·Grant Sanderson(3Blue1Brown), Engram, GPT-5.6 Sol, GLM-5.2.
원문 인용 모음
- [00:00:14] “저는 제가 쓰는 영역들이 다 가드레일에 걸려요… 무조건 Opus 4.8로 다 전환돼요.”
- [00:01:31] “와, 이건 두 배 좋은데, 세 배 좋은데, 이런 느낌은 아닙니다.”
- [00:05:03] “이유는 비용과 효율성 때문이다. 구현 작업에는 최상의 모델이 필요한 경우가 드물다. 판단, 리뷰, 종합은 메인 루프에 남겨둔다.”
- [00:09:49] “Claude Fable 5와 함께 일하다 보면 오래된 교훈을 계속 다시 배우게 됩니다. 지도는 영토가 아니라는 것입니다.”
- [00:10:03] “그래서 제가 사람 위주로만 말씀드렸는데, 지금 보면 AI에도 똑같이 해당되는 부분이 있긴 하네요.”
- [00:14:46] “이 변경에서 일어난 모든 일을 제가 제대로 이해했는지 확인하고 싶습니다. 변경 사항에 대한 HTML 보고서를 만들어 주세요.”
- [00:20:53] “우리는 그 어느 때보다 세상을 더 깊이 이해할 수 있습니다. 우리는 단지 루프에서 빠져나오기만 할 필요가 없습니다. 오히려 루프 안으로 더 깊이 들어갈 수도 있습니다.”
- [00:25:54] “저희가 AI를 쓰다 보니까 뇌가 타들어가서 망가지는 cyberpsycho가 되는 설정처럼, 스스로 좀 그러고 있다고 느끼고 있어요.”
- [00:28:51] “세 번 동안 ‘맞습니다. 맞습니다. 맞습니다.‘라고 하면 그냥 그걸 덮어요. 맞겠지.”
- [00:37:11] “그런데 막상 사람들이 Llama 4를 써보니까 너무 안 좋았던 거죠… 알고 보니 Llama 4를 이렇게저렇게 tuning한 다음에 전부 LMArena에 넣고 테스트한 거예요. 그중에 1등 한 것만 남긴 거죠.”
- [00:38:46] “지금은 그래서 저희가 jagged intelligence라고 표현하죠. 어떤 건 잘하고 어떤 건 못하고.”
- [00:52:11] “결국에는 scalar 하나가 떨어져야 목표가 생겨요. 목표가 생기면 그 목표를 향해서 뭐든 만들게 되니까요.”
이 영상에서 얻을 수 있는 것
- 모델을 무조건 최상위로 쓰는 시대는 지나간다 — 수확 체감이 느껴지는 지점에서는 Opus·GPT-5.5 수준으로도 충분한 문제가 많다. Simon Willison의 위임 실험처럼 “구현은 저성능 모델(Sonnet/Haiku), 판단·리뷰·종합은 메인 루프”로 나누는 패턴이 실전 팁으로 바로 적용된다.
- 생성된 코드를 이해하는 구체적 루틴 — 구현 전(사각지대 자각·인터뷰) / 중(구현 노트·이탈 기록) / 후(설득자료·퀴즈)의 3단계 프레임워크와, “변경 사항 HTML 보고서 + 반드시 통과해야 하는 퀴즈”를 만들게 해 자기 이해를 검증한 뒤 머지하는 실제 프롬프트를 그대로 가져다 쓸 수 있다.
- AI 출력의 검증법 — 노정석의 “토끼굴 게이트 + 같은 모델에게 세 번 물어보기”, 최승준의 Claude·Codex·사람 “삼위일체” 폴링 토론 등 검증을 자동화하되 손을 완전히 놓지는 않는 균형 감각의 사례.
- 평가 지표를 읽는 눈 — Artificial Analysis(벤치마크 채점형)와 LMArena(인간 선호도 Elo)의 차이, Llama 4의 LMArena 게이밍 사건, jagged intelligence 개념까지 정리되어 “Fable 1위”라는 숫자를 어떻게 걸러 봐야 하는지 감을 잡을 수 있다.
- 다음 사업 기회의 힌트 — Evaluation 자체가 사업이 되고 있다는 관측(LMArena 영리 전환, Irregular의 침투 기반 평가, Audio·Robotics의 어려운 평가)에서 산업 지형의 변화를 읽을 수 있다.
고찰할 내용
- “이해가 새로운 병목”은 정말 새로운 문제인가, 반복되는 프레임워크인가 — 노정석의 반론처럼 “이해해야 한다”는 강박은 늘 있어 온 담론일 수 있다. 6개월 뒤 다음 세대 모델에도 같은 얘기가 반복될 것이라면, 지금 담론에서 취할 것과 흘려보낼 것을 어떻게 구분할 것인가.
- cyberpsycho를 피하면서 최대한 증강하는 법 — AI에 의존할수록 스스로의 인지 역량이 위축된다는 감각(박종현)과, “마찰이 없으면 배움도 없다”(최승준)는 지적 사이에서, 어디까지 위임하고 어디서 직접 이해에 개입할지 자기만의 기준을 세워야 한다.
- 세대별로 학습·협업 방식이 갈라진다면 — “README를 사람은 읽지 마세요”(Oh My OpenCode)처럼 다음 세대는 우리 세대의 형식지 가정 자체를 버릴 수 있다. 지금 내가 익히는 방법론이 하위 레이어로 통째로 내려갈 가능성을 어떻게 대비할 것인가.
- 평가할 수 없는 능력을 어떻게 키울 것인가 — jagged intelligence의 근원이 “취향·유머처럼 evaluation이 어려운 영역”이라면, scalar 하나로 환원되지 않는 가치(소설·개그·미감)는 앞으로도 계속 뒤처질 것인가, 아니면 인간 선호도 데이터 축적으로 극복될 것인가.
- “루프 밖”이 아니라 “루프 안으로 더 깊이” — Geoffrey Litt의 결론처럼, 자동화를 사람을 배제하는 방향이 아니라 사람의 이해를 증강하는 방향으로 쓰려면 도구와 워크플로를 어떻게 설계해야 하는가.
Related
- 2026-06-19-ai-frontier-ep100-mythos-fable5 — 같은 채널의 100회 특집. Mythos→Fable 5 출시와 미 정부 수출통제, RSI·루프 엔지니어링을 먼저 다룬 회차 — 이번 EP103에서 다시 등장하는 Fable 5 가격표·모델 크기 역산 논의의 배경이 된다.