출처: https://youtu.be/ezyjIdJO72Y 길이: 1:03:29 · 채널: AI Frontier Korea (노정석) 녹화: 2026-10-18 저녁(박종현의 샌프란시스코 마지막 밤) · 출연: 최승준, 박종현(노정석 불참) · 편집: 김유진 관련 자료: 공식 전사본 · SudoCut 발표 덱

한눈에 보는 요약

  • 박종현이 SF에서 연 “Video as Code” 이벤트에서 출발한다. Seedance처럼 픽셀을 직접 생성하는 비디오 모델 대신 LLM이 애니메이션 코드를 짜서 영상을 만드는 접근이다. 공동 호스트 Sina는 ManimGX로 만든 설명 영상 10편으로 열흘 만에 100만 조회를 찍었다.
  • 박종현은 반대로 원본 footage에서 출발한다. 에피소드당 20시간 넘게 걸리던 편집을 AI에 맡겨 sudoremove 채널은 99%를 AI가 편집하고, 이 경험을 SudoCut이라는 서비스로 냈다. 같은 라이브 소스를 AI가 편집한 팬 채널이 사람 편집 채널보다 조회수가 높았지만, 그가 직접 단 단서는 “표본이 적은 관찰 결과”다.
  • 결정적 계기는 Opus 5.5였다. Opus 5.5·GPT-6.1 Sol·GPT-6 Astra, 그리고 ManimGX·Canvas·Remotion·HyperFrames를 바꿔 가며 같은 쇼츠의 모션 그래픽을 시켜 보니 어떤 모델·도구든 준수했고, 도구 없이 vanilla 코드로도 나쁘지 않았다.
  • “그럴듯하지만 slop 아닌가”를 확인하려고 여러 카테고리 채널을 100% 자동화해 운영했다. 약 20% 카테고리에서 반응이 좋았고, 수천 개 댓글 중 “AI로 만들었냐”는 질문은 없었다. 판단은 시장(시청자)에 맡기고 사후 해석한다는 것이 그의 방법론이다.
  • 최승준은 bytebeat 코드 (t * 8) | (t >> 8)을 소리 → 이미지 → 이모지 → 합성 규칙 → 픽셀 아트 이야기로 거듭 잘못 읽는 퍼포먼스 ‘생성형 오독’을 소개한다. 두 사람은 이것이 훈련 분포 바깥으로 나가는 창의성의 힌트인지, 분포 안의 빈 interpolation 지점을 찾는 것인지 묻는다.
  • 결론은 둘로 모인다. 가치는 AI가 판단하지 못하는 희소한 곳으로 가고, 어린이 그림처럼 생성해 버리면 의미가 사라지는 영역은 느리게 가야 하며 규모를 키울 수 없다. 스타일이 평준화되면 slop이 되는데, 모션 그래픽에서 이미 그 조짐이 보인다.

장면별 상세 설명

[00:26] Video as Code: AI는 픽셀을 생성해야 하나, 프로그램을 써야 하나

장면 1 — Luma 이벤트 페이지

이벤트 제목은 “Video as Code: Should AI Generate Pixels, or Write Programs?”였다. 10월 16일(금) 17:45~20:30, SF 2300 Mason St에서 열렸고 호스트는 Park Jong Hyun과 Sina Atalay다. 포스터 문구는 “Some media will be generated by video models. Some will be written as code by LLMs.”이다. Luma에서 ‘Featured in San Francisco’(도시 홈 화면 노출)에 올랐다. 페이지에는 103명 참석으로 찍혀 있지만, 박종현의 말로는 100명쯤 승인했어도 공간이 작아 실제로는 40명 정도가 모였다.

용어는 아직 Video as Code와 Code as Video가 섞여 쓰인다. 어느 쪽이든 비디오 생성 모델로 픽셀을 바로 뽑지 않고, LLM이 애니메이션 코드를 짜거나 Blender 같은 앱을 다뤄 영상을 만드는 방식을 가리킨다.

[01:51] Sina의 코드 생성 설명 영상과 ManimGX

장면 2 — academai 릴스: 자연선택으로 운전을 배우는 AI

공동 호스트 Sina(터키 출신 창업자)는 교육에 관심이 많아 개념 설명 영상을 만든다. 개념 시각화·오디오·음악까지 모두 코드로 생성한다. 위 릴스 “Training an AI to Drive with Natural Selection”에서는 차가 일곱 개의 숫자(다섯 방향의 벽까지 거리, 속도, 방향)를 보고 가중치 434개짜리 작은 신경망 f(gas)·g(steer)로 운전한다. 아무도 가중치를 정해 주지 않았다. 무작위 20대를 경주시켜 멀리 간 차를 부모로 삼고, 작은 변이를 준 자식을 반복해 만든다. 33세대에 처음 한 바퀴를 돌았고 4,000세대에는 모든 코너를 통과했다. 경사하강 없이 선택과 변이만으로 학습하는 neuroevolution이다.

장면 3 — academai 프로필과 ManimGX

계정 소개는 “We believe every hard subject has an intuition anyone can feel.”이다. 영상이 10편뿐인데 ray tracing(“is made of triangles”) 96.2만, 자동차(“Nobody taught them to drive.”) 74.9만 조회가 나왔다(발화로는 96만·75만). 하루에 주제 하나씩 열흘을 올리자 누적 100만 조회를 넘겼다. 작업은 18개월 전부터 해 왔다.

도구는 ManimGX다. 3Blue1Brown의 Grant Sanderson이 영상 제작용으로 만든 Python 라이브러리 Manim을 Sina가 업그레이드한 것으로, 화면 소개는 “Blazingly fast 3D animation engine for agents, compatible with Manim CE’s API. Powered by Rust and wgpu.”다. 동기를 묻자 Sina는 유튜브 교육 영상 대부분이 조회수를 노린 겉핥기라 “볼 때는 안 것 같지만 깊게 이해하지 못한다”고 했다. 좋은 설명 영상은 만들기 어렵기 때문이고, AI가 그 비용을 낮춰 줄 수 있다는 것이다. 최승준은 3Blue1Brown을 볼 때도 이해한 것 같지만 실제로는 아닌 경우가 많다며, 영상을 보는 것과 머릿속에 들어가는 것 사이에는 간극이 있다고 받았다.

[06:21] 원본 footage에서 출발한 Kurzgesagt 스타일 실험

장면 4 — "How a computer adds" Kurzgesagt 스타일 영상

Sina가 무에서 유를 만든다면 박종현은 지금 녹화하는 것 같은 원본 footage를 더 좋은 영상으로 만드는 일에서 출발했다. 발표 덱(videoascode.sudo-cut.com, 23장) 2장에는 공동 창업자가 만든 7분 50초짜리 Kurzgesagt 스타일 영상 “How a computer adds”가 걸려 있다. 어떻게 만들었는지는 뒤에서 다시 나온다.

[07:41] 부업 유튜버의 편집 부담과 AI가 99% 편집하는 채널

장면 5 — Growth after AI editing

박종현은 AI Frontier 공동 진행, sudoremove, 그리고 공개하지 않은 더 오래된 채널 하나를 모두 부업으로 운영한다. 녹화본도 라이브도 완벽하지 않아서 편집하면 설명을 보강하고 실수를 고치고 추가 자료를 붙일 수 있지만, 직접 하면 에피소드당 최소 20시간이 들었다(덱의 “I hate editing. 20+ hours per episode”). “AI가 내 편집을 대신 해줄 수 없을까”에서 시작해 몇 달을 들였고, sudoremove는 두세 달째 AI 편집본을 올린다. 처음엔 반반 섞어 올렸는데 조회수가 비슷했고, 아는 구독자들도 “AI가 한 줄 몰랐다”고 해서 지금은 99%가 AI 편집이다.

슬라이드의 YouTube Studio 지표는 지난 365일 기준 조회수 1.4M, 시청 시간 46.0K시간(+209%), 구독자 +8.5K(+81%), 예상 수익 $686.79다. 빨간 화살표가 “AI editing starts”(2026년 7월 무렵) 지점이다. 박종현은 영상 하나하나가 더 잘돼서가 아니라 편집이 빨라져 더 많이 올릴 수 있어서 총조회수가 늘었다고 선을 긋는다. 품질은 사람이 편집할 때와 비슷하다고 본다.

[10:02] 같은 footage, AI가 사람 편집자를 이길까

장면 6 — Same footage. Can AI beat a human?

구독자 1만 명쯤인 운동선수 인플루언서의 허락을 받아 그 라이브 소스를 AI로 편집하고 새 팬 채널(구독자 0명에서 시작)에 올렸다. 9월 18일~10월 12일 누적 조회수는 AI 편집 Channel B(구독자 213명)가 66,338, 본인이 직접 편집한 Channel A(구독자 12K)가 33,138이었다. 박종현은 이유가 분명하다고 본다. 그분도 본업이 따로 있는 비전문 편집자이고, 이 결과는 AI가 “비전문 편집자보다는 잘하는 상태”가 됐다는 뜻이다. 최승준은 탁월하지는 않아도 평균 이상은 할 수 있다는 말로 정리했다.

장면 7 — Then, on the main channel (5.1×)

인플루언서가 결과를 보고 메인 채널에 올려 달라고 해서 지금은 그쪽에 올린다.

업로드편집조회수게시 후 경과
9/19사람33,13825일
9/26사람15,51018일
10/3AI39,15811일
10/12AI209,6152일

슬라이드는 영상당 조회수 5.1×로 요약하지만, 각주에 “2 videos per group · unequal time live · observational”이라고 적혀 있다. 박종현도 표본이 적어 편집 때문에 조회수가 올랐다고 단정할 수 없다고 덧붙였다.

[12:11] SudoCut 출시와 쇼츠 클리핑, 모션 그래픽

장면 8 — Motion graphics: 쇼츠 3편

이 편집 경험을 SudoCut(sudo-cut.com)으로 공개했다. 다음 단계는 클리핑이다. 23시간 라이브를 편집하면 12시간짜리 롱폼이 되고, 거기서 사람들이 좋아할 하이라이트를 잘라 쇼츠로 만든다. 처음에는 구간만 잘 고르고 꾸밈은 없었다. 그다음이 이번 주제인 Video as Code다. LLM이 클립 내용에 맞는 모션 그래픽 코드를 짠다. 화면의 세 편(“One in Five Uber Drivers Is a Founder”, “Find Short-Term Rental Areas with AI”, “Great Content: Think Reasoning Tokens”)은 한국어 라이브를 영어로 자동 더빙하고 자막·그래픽을 얹었다. 최승준이 “종현님 목소리랑 느낌이 많이 다르다”고 하자, 박종현은 한국어 원음 버전도 만들 수 있다고 답했다. 모션 그래픽은 약 2주 전부터 시도했다.

[14:16] Opus 5.5가 불붙인 Video as Code — 모델과 도구 비교

장면 9 — Different models

박종현은 이 흐름이 Opus 5.5부터 떠올랐다고 본다. 같은 쇼츠(“One in Five Uber Drivers Is a Founder”)를 같은 지시로 Opus 5.5 medium, Opus 5.5 xhigh, GPT-6.1 Sol medium, GPT-6 Astra medium에 맡겼고, 도구는 모두 ManimGX였다. Opus 5.5가 “진짜 잘하지만” GPT-6도 잘해서, 요즘 모델은 모두 나쁘지 않게 한다는 결론이었다.

장면 10 — Different libraries

두 번째 실험은 모델을 Opus 5.5 medium으로 고정하고 도구를 바꿨다. ManimGX(Manim과 1:1 호환, 즉 Manim + Python), 아무것도 주지 않은 Canvas(vanilla), GitHub의 영상용 라이브러리 Remotion과 HyperFrames다. 결과 그래픽은 서로 꽤 달랐지만 무엇이 제일 좋은지는 고르기 어려웠다. 박종현은 “큐레이션을 그렇게 잘하지는 못하겠더라”고 했다. 중요한 건 어떤 도구를 쥐여 주든 준수하고, 도구 없이 vanilla로 그려도 나쁘지 않다는 점이다.

[16:40] 유료 강의를 학습한 Codex의 Kurzgesagt 스타일 애니메이션

장면 11 — Open Codex. Tell it to study.

앞의 Kurzgesagt 스타일 영상을 만든 방법은 간단했다. 공동 창업자가 Skillshare 유료 강의 “Motion Graphics with Kurzgesagt – Part 1”(16강, 42분)을 구매한 뒤 codex를 열고 이렇게 시켰다.

Logged in. Review all 16 lessons and summarize the key ideas and principles
I can apply to AI motion graphics.

Codex는 16강을 모두 보고 강의 기법과 AI 제작용 제안을 나눠 정리하겠다며 브라우저로 작업을 시작했다. 그다음 “영상을 만들어 봐”를 시키고 “이건 별로니 이렇게 해 봐” 같은 피드백을 반복했다.

장면 12 — It's Done! v3 vs v4 (craft pass)

버전 3, 버전 4로 올라가며 이 수준까지 왔다. 최승준이 “Craft Pass”가 뭐냐고 묻자, 박종현은 개발 과정에서 붙인 별칭이라고 답했다. 마음에 안 드는 과정 하나를 고친 단계이고 평가는 사람이 했다. 작업한 공동 창업자 양지호에게 감사를 전했다.

[18:21] 그럴듯한 영상은 slop인가, 좋은 콘텐츠인가

장면 13 — Results? Viewer satisfaction varies by category

다음 질문은 이게 정말 좋은 콘텐츠냐는 것이다. Claude Code가 처음 프런트엔드를 잘 만들 때 다들 감탄했지만, 지금 그 페이지들을 보면 slop이라고 부른다. 안 되던 게 돼서 신기했을 뿐이고, 영상도 지금 그 단계일 수 있다.

그래서 박종현은 Vtuber·정치·스포츠·테크 리뷰 같은 여러 카테고리 채널을 만들어 100% 자동화로 운영했다. 원본은 허락을 받았거나 자유 사용이 허용된 영상만 썼고, 모션 그래픽까지 얹었다. 가정은 단순하다. 시청자가 좋아하고 좋아요·선플이 달리면 좋은 영상이고, 판단은 시청자가 한다. 한 달쯤 지나자 약 20% 카테고리에서 반응이 좋았다. 화면 기준으로 Vtuber는 90일 조회 22.7K(+70 구독), 정치는 358.8K(+990 구독), 스포츠는 한 편이 66,990 조회를 냈고 테크 리뷰는 ✗였다. 댓글은 1,000개를 넘어 아마 수천 개인데, “이거 AI로 한 건가요?”라는 댓글은 하나도 없었다. 감지는 안 되는 수준이지만 좋은 콘텐츠였느냐는 영상마다 달랐고, 이 부분은 앞으로 풀 숙제라고 했다.

그는 편집·모션 그래픽·B-roll·추가 설명 등 어떤 방면이든 AI가 좋은 콘텐츠에 기여한다는 결론을 내리고, 가치 있는 이야기는 있지만 편집이 장벽인 크리에이터를 모집한다고 밝혔다.

[22:41] 현지 반응과 원본 스토리텔링이라는 가설

SF 청중이 가장 궁금해한 건 기술적 과정이었다. 기본은 AI에게 자기 편집 스타일을 따라 하도록 가르치는 방식이고, 모델 fine-tuning은 하지 않았다. 다만 fine-tuning을 해야 더 좋아지겠다는 지점은 분명히 보여서 할 수도 있다. 두 번째 질문은 카테고리를 넘는 공통 기준이 있느냐였다. 예능과 AI 팟캐스트는 시청 이유가 다르니 편집·모션 그래픽 스타일도 카테고리마다 달라야 한다는 것이 지금까지의 답이다.

최승준이 “완전 자동 생성이 아니라 창작된 원본이 바탕”이라는 점을 짚자, 박종현은 그것이 이 작업의 출발 가설이라고 했다. 시청자는 발행되지 않는 원본 녹화가 아니라 편집본을 보지만, 가장 큰 가치는 원본에 다 있다. 사람들은 결국 출연자들의 이야기와 생각, 정보를 보러 온다. 그래서 0에서 AI로 생성하기보다 실제 사람이 말하는 원본 스토리텔링을 더 좋게 만드는 데 집중한다. Sina처럼 원본 없이도 좋은 콘텐츠를 만들 수 있지만 그쪽이 더 어려운 길이라고 본다.

덧붙여 최승준이 발표 덱을 Claude가 만든 것 같다고 하자, 박종현은 GPT-6.1 Sol로 만들었다고 답했다. 다만 예전에 Claude와 만든 디자인 문서·무드보드·디자인 시스템을 바탕으로 여러 모델을 섞었다. 최승준이 Claude로 추정한 근거는 둘이다. GPT 기본 디자인은 행간이 더 좁고, 크림색 선호는 Claude의 특성이라는 것이다.

[27:39] 백남준을 기억하는 집에서 선보인 ‘생성형 오독’

장면 14 — 생성형 오독 타이틀과 bytebeat 코드

후반은 최승준의 창작 실험이다. 녹화 전날 동묘의 ‘백남준을 기억하는 집’에서 PROTOROOM(후니다 킴·김승범 작가)의 전시와 함께 퍼포먼스를 했다. 10여 년 교류해 온 신승백 작가와는 올해 초 ‘Uneven Futures’로도 모였다. 두 작가는 bytebeat(shift 연산자와 숫자로 된 코드)를 연주하는 장치를 실제로 만들어 공연·전시하고, 최승준은 초청 작가로 그 코드를 다르게 읽는(오독하는) 역할을 맡았다.

제목은 요즘 화두인 misalignment(오정렬), 마술의 misdirection에 빗댄 misreading이다. “생성형으로 잘못 읽는 건 무엇인가”라는 질문을 던지는 작업이다. 화면의 (t * 8) | (t >> 8)은 Viznut이 발견한 코드다. t는 시간이고, 시간에 따라 계산한 값을 소리로 바꾸면 음악처럼 들린다.

[28:59] 진화 알고리즘으로 bytebeat의 소리 공간 탐색

장면 15 — 발견: MAP-Elites 탐색 화면

첫 단계는 작가들의 작업을 “잘 읽는” 것이다. ‘발견’ 화면은 시드 bytebeat-17에서 공진화 + QD(quality-diversity)로 1,200개 후보를 시도해 12×12 MAP-Elites 행동 공간 중 32칸을 채웠다(프로그램 구조 281개, 113.5 eval/s). 선택된 코드 t >>> t - (~t - (-142)) - (n2 & t), n2 = 7에는 품질 추정 0.64, 리듬성 0.36, 엔트로피 0.62, 새로움 0.13 같은 지표가 붙는다. 코드의 n1·n2 같은 상수 자리를 자동 탐색하고, 칸을 누르면 그 소리가 바로 나게 만들었다. 펄스가 낮은 음이면 드럼처럼도 울린다. 작가들에게 받은 연주 샘플 12개 중 3번과 9번이 재미있었고, 여러 채널로 겹치면 다른 악기처럼 들린다. UMAP으로 latent도 살펴봤다.

최승준은 bytebeat 자체가 원래 소리를 내려고 만든 코드가 아니라는 점을 짚는다. 음악처럼 들린다는 발견부터가 코드를 잘못 읽어서 생긴 일이고, 그래서 이 작업은 계속 잘못 읽는 이야기다.

[32:03] 소리를 이미지와 이모지로 다시 읽기

장면 16 — 무늬·이모지·매듭으로 읽은 3번 코드

다음은 PROTOROOM의 3번 코드 (t * (t >> (86 / 10) | t >> (80 / 10))) >> (t >> ((80 / 10) * 2))(a=86, b=80)를 이미지로 보는 단계다. 화면에는 ‘그대로/파형으로/악보로/목소리로’ 모드가 있다. 코드 → 소리 → 이미지(무늬)로 바꾼 다음, 회귀로 각 부분의 픽셀과 비슷한 이모지를 찾았다. 사실 아무 관계도 없지만, 구름에서 얼굴을 보는 pareidolia처럼 억지로 읽게 한 것이다. 그러자 한 부분은 곰, 한 부분은 별똥별이라는 의미를 얻었다. 오른쪽은 그 구조를 수학적 매듭으로 표현한 궤적이다.

배경에는 이름에 대한 생각이 있다. 기표와 기의처럼 이름은 임의적이다(최승준이라는 이름이 원자 구조를 대표하지 않는다). 그런데 프로그래밍에서는 이름을 붙이면 조작할 수 있고, 어슐러 르 귄의 『어스시 연대기』처럼 이름을 알면 개입하고 명령할 수 있다. 코드는 빛·모터 같은 물리 세계에 작동하는 “현상에 개입하는 언어”인데, 그 언어를 의도하지 않은 방식으로 읽어 본 것이다. 박종현은 “결국 이모지가 별칭이 됐다”고 요약했다. 최승준의 의도는 처음의 bytebeat 코드에서 얼마나 멀리 갈 수 있느냐였다.

[35:14] 코드만 보고 소리를 알 수 있나 — verifiability

박종현이 물었다. 코드만 봐서는 어떤 소리가 날지 전혀 짐작이 안 되는데, 작가들은 어떻게 설계하는가? 최승준은 많이 해 보면 대강의 직관은 생기지만, t가 1만쯤일 때의 값까지 완벽히 예측하기는 어렵고 계산해 봐야 안다고 답했다. 하드웨어에는 A·B 슬라이더가 있지만 그건 상수만 바꾼다. 구조를 바꾸려면 시행착오가 필요하다. 진화 알고리즘으로 연산자 조합 공간을 미리 탐색할 수는 있지만, 해 보니 사람이 고생해서 만든 것보다 품질이 훨씬 떨어졌다.

박종현은 결국 verifiable하냐의 문제라고 짚었다. 소리가 좋은지 판단하는 건 여전히 사람이다. 최승준은 다른 실험 이야기를 꺼냈다. ChatGPT도 Opus도 자기는 아직 소리를 들을 수 없다고 하지만 spectrogram을 이미지로 보는 건 된다. 그러면 악기 모사를 회귀·최적화하는 식으로 “좋은 음악의 느낌”을 한 단계 번역해 최적화할 수 있다. 모델에 소리를 듣고 취향을 갖는 능력이 내재화되면 이런 탐색도 훨씬 잘할 것이다. 박종현은 좋은 영상을 평가하기 어려운 자기 문제와 같은 종류의, 아직 풀리지 않은 문제라고 받았다.

[38:07] 이모지 합성 규칙에서 픽셀 아트 게임까지

장면 17 — 이야기에 쓰이는 합성 규칙

신승백 작가는 소리 분류기 YAMNet으로 그 “삐비비빅” 소리가 20만 개 오디오 샘플 중 무엇과 비슷한지, 즉 모델이 새소리·악기·잡음 중 무엇으로 들었는지 실험했고, 거꾸로 연주하게도 했다. 최승준은 기호 쪽으로 갔다. 연금술 게임 Little Alchemy에서 착안해 이모지 합성 규칙을 만들게 했다.

  1. 주판 + 플로피디스크 → 계산하는 기계 — 주판알이 디스크 속으로 들어가 컴퓨터가 된다(소리: 알 튕기는 소리, 부팅음)
  2. 삭(신월) + 곰 → 잠 — 스르르 잠이 든다(소리: 느린 숨소리)
  3. 건반 + 곰 → 노래 — 소리를 따라 노래를 부른다(소리: 짧은 선율)
  4. 별똥별 + 사과 → 꽃핌 — 빛을 향해 꽃이 활짝 핀다(소리: 퐁)
  5. 해돋이 + 해돋이 → 해돋이 — 하늘이 천천히 밝아 온다(소리: 밝아지는 화음)

이 규칙을 템플릿에 넣고, 이모지를 캐릭터·상황 요소로 쓰는 긴 프롬프트 자체를 LLM이 생성하게 했다. 형식까지 알아서 고르게 해서 창작을 아예 위임해 본 것이다.

장면 18 — 픽셀 아트 게임 '이름 없는 악보'

그렇게 나온 결과가 픽셀 아트 게임 ‘이름 없는 악보’다. 최승준은 퍼포먼스 현장에서 무엇인지 모른 채 플레이하며 규칙을 추측해야 했다. 주판알로 공장의 빈 창에 불을 다 켜면 이야기가 끝난다(“공장의 빈 창 3개가 남았다. 오른쪽 알(③)로 채워 보자.”). 픽셀 아트는 일부러 목표로 잡은 것이고, Opus 5.5 정도면 프롬프트가 무엇이든 이야기를 만들어 낸다. 간단한 코드에서 시작해 “잘못 읽고, 잘못 읽고, 잘못 읽었을 때” 창작이 된 셈이다.

[40:47] 우연의 해석, 그리고 분포 바깥의 창의성

최승준은 이 작업을 John Cage, 백남준, 더 거슬러 Mozart로 이어지는 계보에 놓는다. 무작위성이나 외재화한 생각에서 우연히 나온 것을 해석하는 전통이다. 모델에 창의력이나 호기심이 진짜로 있지는 않지만, 있다고 치고 위임하면 무엇을 하는가? 그의 가설은 이렇다. 템플릿은 필요하지만, 이런 프롬프트가 아주 많고 이야기 품질을 측정할 수 있다면 대량 생산이 가능하고 그중 좋은 것이 섞여 있을 수 있다. 모델 역량이 그런 생각을 해 볼 만큼 올라왔다.

박종현은 SF에서 비디오 생성 모델을 만드는 사람들을 만나며 창의성을 계속 물었다고 했다. LLM이든 diffusion 영상 모델이든 학습 데이터 분포에서 확률적으로 가장 그럴듯한 것을 내놓으니 분포를 벗어나기 어렵다. 다들 비슷하게 쓰는 “쇠 맛 나는” 문장이나, 그의 발표 자료가 바로 “Claude가 한 것 같다”고 읽히는 것도 같은 현상이다. 창의성을 인간 작품 분포 바깥의 작품으로 본다면, 일부러 잘못 읽어 바깥으로 튀어 나가게 하는 오독이 힌트가 될 수 있다.

최승준은 지난 회차의 convex hull of ideas를 다시 꺼냈다. 엄밀한 의미의 generative는 데이터 분포 안의 새 데이터를 내놓는 것이다. 그런데 수학에서는 모델이 보통 아무도 연결하지 않던 분야 A와 B를 이어 어려운 문제를 푼다. 볼록 껍질 안이라도 조합에는 의외의 창의성이 있을 수 있고, 그걸 양으로 극한까지 밀어붙일 수 있느냐가 질문이다.

[44:37] interpolation과 out of distribution

박종현은 DALL-E 2의 첫 예시였던 “말 탄 우주비행사”를 든다. 말 탄 사람도, 우주복 입은 우주비행사도 흔한 이미지인데, 둘을 조합한 interpolation이 당시엔 꽤 창의적으로 느껴졌다. 그때 그 이미지는 수많은 이미지 분포 안에서 비어 있던 지점을 찾은 것이다. 그는 이를 조합으로 만든 창의성 1단계라고 부른다. 말도 우주복도 아닌, 본 적 없는 요소를 결합한 out of distribution 이미지가 다음 단계일 텐데, 볼 만해야 창의성이지 아니면 랜덤 노이즈다. 그러면 생성형 오독은 바깥으로 가는 방법일까, 분포 안에 숨은 interpolation 지점을 찾는 창의성일까?

최승준의 직관은 가까운 low-hanging fruit부터 딸 거라는 쪽이다. 경계를 정말 넘지 않더라도 비어 있는 곳을 메우며 쉽게 얻는 이득의 시기가 있고, 그동안 모델 역량이 오르고 탐색 공간도 넓어져 새 구멍이 생긴다. 그 구멍이 다음 세대의 열매가 되는 식으로 영토가 계속 확장된다는 심상이다.

[47:04] 충격을 받은 수학계 — Terence Tao와 Grant Sanderson

장면 19 — 3Blue1Brown "There's never been a better time to go into math"

최승준이 수학을 계속 들여다보는 이유가 있다. 10년 전 바둑이 먼저 충격을 받았고, 고독하게 하면서도 커뮤니티 안에서 함께 성장하는 수학의 결이 바둑과 닮았다. 그 사람들이 지금 가장 먼저 강하게 충격을 받았다. Numberphile 인터뷰(“Terence Tao Talks to Numberphile About AI”)의 Terence Tao는 수척해 보였다. 그는 수학의 낭만적 시대가 지나고 산업혁명의 시기로 옮겨 가야 한다고 하면서도 씁쓸함을 비쳤다. 반면 Grant Sanderson은 전날쯤 올라온 영상 “There’s never been a better time to go into math”에서 밝은 얼굴로 낙관을 말했다. 모델이 아무리 나아가도 탐구할 수학과 알고 싶어 하는 사람은 남는다는 것이다. 이 낙관은 타임라인에서 “지금은 희망보다 수학자들이 겪는 일에 공감할 때”라는 비판도 받았다. 최승준도 영상은 AI 요약으로만 봤다고 밝혔다.

[49:08] explainer와 커뮤니케이터는 안전한가

최승준의 질문에 박종현은 “안전하지 않겠죠”라고 답한다. Sina의 목표는 대중에게 좋은 설명을 주는 3Blue1Brown 같은 플랫폼이고, 영상을 넘어 상호작용으로 가려 한다. Sina는 아무리 도구가 좋아도 설명할 주제와 핵심 개념은 만드는 사람이 다 알아야 한다고 보지만, 박종현은 동의하지 않는다. Sina 자신도 미래에는 “Fourier transform이 궁금해”라고 하면 그 자리에서 시각 자료가 생성되는 플랫폼을 꿈꾼다.

그래도 explainer가 사라지진 않을 거라고 본다. 사람들은 자기가 정확히 뭘 궁금해하는지 모를 때가 많다. 그래서 “이런 게 궁금할 거야”, “이건 정말 가치 있는 개념이니 봐 봐”라는 추천 역할이 남는다. 그렇게 보면 날개를 달고 설명하고 싶던 걸 마구 설명할 3Blue1Brown이 신난 것도 납득이 간다.

최승준은 한 걸음 더 나간다. 디렉팅, 즉 이야기 구조를 만드는 발상 자체는 안전한가? 박종현의 접근은 그로스 해킹처럼 이용자에 최적화하고 시장이 판단하게 하는 방식이니, 이야기 구조도 시장이 판단해 줄 수 있다. 박종현의 답은 이렇다. AI가 다양한 스토리를 쏟아내는 건 되지만 진짜 좋은지는 모른다. 확신할 수 있다면 직접 큐레이션하겠지만 자기가 정답이라는 보장이 없으니 판단은 시장에 맡기고 사후 해석한다. 좋아요, 감사 댓글, 후원 금액이 신호다. 결국 탐색의 문제이고, 지금은 그 평가를 사람이 할 수밖에 없다.

[53:46] 가치는 AI가 판단하지 못하는 희소한 곳으로

박종현은 지난주 노정석의 말을 잇는다. 가치는 희소한 곳으로 가고, 그곳은 높은 확률로 AI가 판단하지 못하는 곳이다. AI가 다 판단할 수 있다면 AI가 고른 비슷한 것들이 넘쳐날 테고, 거기서 벗어난 콘텐츠가 사랑받을 수밖에 없다. 채널 출연진 모두 AI가 결국 다 할 거라고 낙관하는 편이지만, 박종현은 그것만큼은 아닐 거라고 본다. 최승준은 “저희가 다 의견이 일치하진 않을 수 있다”고 받았다.

[54:30] 유치원 원가 영상과 생성하면 안 되는 영역

장면 20 — '놀이는 어린이의 삶이다' 원가 영상

번외로 최승준은 본업인 유치원의 원가 ‘놀이는 어린이의 삶이다’ 영상을 보여 줬다. 악보와 피아노 녹음밖에 없어서 악보에서 음악을 추출하는 도구와 트래커를 직접 만들어 MP3를 얻었고, SoundFont나 샘플링보다 품질이 떨어져 마무리는 Suno로 했다. 영상 편집 프로그램은 한 번도 켜지 않았다. 손글씨처럼 써지는 가사는 Opus가 썼다. 지난 폰트 작업에서 현재 모델들이 한글 획을 잘 이해한다는 걸 알았기 때문이다. 그림은 어린이들이 그렸고 애니메이션은 모두 Opus가 했다.

중요한 깨달음은 그림까지 생성할 수는 있지만 그러면 안 된다는 것이다. 어떤 부분은 도움을 받아도, 대신해 버리면 의미가 없어지는 구간이 있다. 주변에서도 “저것까지 생성했으면 무슨 가치가 있느냐”는 피드백을 받았다. 박종현도 동의했다. 그림을 그린 아이들에게는 자기 그림이 들어갔다는 것만으로 가치 있는 작품이다. 최승준은 이 분야 사람들에게는 그림까지 생성한 게 오히려 해가 될 수 있다며, 어떤 분야에서는 마찰이 있거나 느리게 가야 하는 부분이 있고 그래서 규모를 키울 수 없다고 했다.

손글씨는 박종현이 보기에 어린이가 썼다고 해도 속을 만했다. 최승준은 만 3세는 글을 못 쓰고 만 5세도 이렇게 잘 쓰지 않는다며 양해를 구할 부분이라고 했다. 그래도 Opus에 맡긴 이유가 있다. 글씨 타이밍을 녹음이 아니라 악보 기준으로 정확히 맞춰야 했고, 스캔해서 획으로 바꾸려면 훨씬 많은 노력이 들었다. 박종현은 과락 요소 없는 기본 품질에 아이들 그림 “한 스푼”을 더해 학부모와 친구들이 함께 즐길 콘텐츠가 됐다고 정리했다.

[59:20] 조합형 한글 폰트와 Claude Code만으로 하는 디자인, 줄지 않는 시간

장면 21 — 한글·영문 형태 편집기 '사이'

최승준은 여름에 시작한 조합형 한글 폰트 작업을 마무리했다. 화면의 편집기 ‘사이’에서 골격·꼭지·필기 경로를 다듬으면 같은 자모를 쓰는 조합(하·할·함·합·항·만·안, 중성 21종)이 함께 바뀐다. 11,172자를 공간에 맞춰 배치해 실제로 쓰고 있지만, 정말 좋은 폰트인지는 아직 의문이라고 했다. 최근 디자인 작업은 벡터 편집 프로그램 없이 사진 분할부터 레이아웃까지 전부 Claude Code 앱에서 모델과 함께 했다. 결과에 “Claude 톤”은 난다.

그런데 시간은 줄지 않았다. 결과가 마음에 들지 않았고, 이 자리엔 이 사진, 이 문구는 저 문구라는 결정 단계가 쉽게 넘어가지 않아 직접 디자인할 때와 비슷한 시간이 걸린다. 위임해도 되는 영역과 붙잡고 가야 하는 영역의 경계는 아직 모르고, 내년 이맘때도 같은 고민일지는 모르겠다고 했다. 박종현은 이쪽은 발전 속도가 빠르지 않다고 느낀다. 알아서 PPT나 포스터를 만드는 능력은 1년 전과 크게 다르지 않은데, 정답이 없어 reward를 주기 어렵기 때문이라고 본다.

[61:56] 스타일 평준화가 낳는 slop

최승준의 마지막 정리다. “딱 봐도 AI”라고 알아차려도 내용이 좋으면 가치가 생긴다. 중국에서 인기 있는 AI 드라마가 그런 예다. 하지만 스타일이 중요한 영역에서 스타일이 다 비슷하면 희소하지 않으니 slop이 될 수밖에 없다. 처음엔 좋았어도 평준화되는 순간 사람들의 안목이 높아져 과락이 되고, 요즘 모션 그래픽이 이미 다 비슷하게 나오는 조짐을 보인다. 박종현은 “맞아요”로 받았다. 끝으로 최승준은 다루지 못한 뉴스로 DeepSeek Flash 10월 17일 버전과 Muse Wonder 출시를 언급하며 다음을 기약했다.

부록 — 실전 체크리스트

  • 모션 그래픽 코드 생성: 같은 클립·같은 지시로 모델(Opus 5.5 / GPT-6.1 Sol / GPT-6 Astra)과 도구(ManimGX·Remotion·HyperFrames·vanilla Canvas)를 한 번씩 돌려 나란히 비교한다. 이 실험에서는 어느 조합도 준수했으니 도구 선택보다 피드백 반복에 시간을 쓴다.
  • 스타일 학습: 원하는 스타일의 강의가 있으면 에이전트(codex)에게 강의 전체를 보고 “AI 제작에 적용할 원칙”을 먼저 요약하게 한 뒤 제작에 들어간다. 버전마다 사람이 평가하는 “craft pass”를 둔다.
  • 성과 해석: AI 편집 효과는 업로드 빈도 증가와 섞이고, 게시 기간이 다르면 조회수를 비교할 수 없다. 비교할 때는 같은 소스, 같은 기간에서 표본을 늘린다.
  • 판단 위임의 경계: 어떤 결과물이 좋은지 확신이 없으면 시장 반응(좋아요·댓글·후원)으로 사후 해석한다. 사람 참여 자체가 가치인 부분(아이 그림 등)은 생성하지 않는다.
  • slop 경계: 기본 스타일 그대로면 다른 AI 결과물과 비슷해진다. 디자인 시스템·무드보드로 고유 스타일을 먼저 만들어 둔다.

관련 노트

원문 인용 모음

  • [00:26] “비디오 생성 모델을 이용해서, Seedance나 이런 모델들이 유명하죠. 픽셀을 바로 생성하는 그런 모델 말고, LLM이 애니메이션 코드를 짠다거나 Blender 앱을 쓴다거나 이런 것들을 사용해서 비디오를 만드는 방식”
  • [09:17] “AI가 편집했기 때문에 조회수가 더 잘 나온 건 아니고요. AI가 편집했기 때문에 영상을 더 많이 올릴 수 있어서 총 조회수는 더 많이 나오게 되었는데”
  • [16:09] “어떤 도구를 쥐여주든지 간에 준수하게 한다. 심지어 도구가 아무것도 없이 vanilla로 이 모션 그래픽 코드를 짜서 그림을 그려도 나쁘지 않다.”
  • [18:21] “그때 AI가 딱 웹페이지를 잘 만들기 시작했을 때 만들어진 그 웹페이지는 우리가 지금 기준으로 봤을 때는 엄청 좋은 페이지라고 생각하진 않아요. 그냥 안 되던 게 돼서 신기했을 뿐이지.”
  • [20:56] “볼 수 있는 만큼 쭉 다 봐봤는데 ‘이거 AI로 한 건가요?‘라는 댓글은 없었어요.”
  • [24:49] “편집된 영상에서 이 영상을 왜 보냐 하면 가장 큰 가치는 사실 이 원본 영상에 다 있다.”
  • [30:50] “사실 이 bytebeat 코드 자체가 원래 소리를 내려고 만든 게 아닌데 음악처럼 들릴 수 있는 부분이 있다는 게 발견된 것처럼, 코드를 잘못 읽어서 된 거잖아요.”
  • [36:34] “소리를 듣고 이게 괜찮은지 아닌지 판단하는 건 결국 지금 사람이 개입해서 하고 있는 거잖아요.”
  • [44:37] “두 개를 조합하니까 interpolation이잖아요. … 제가 임의로 지금 붙여보자면 조합으로 만들어진 창의성 1단계라고 볼 수 있을 것 같고요.”
  • [53:46] “결국 가치는 희소한 곳으로 간다. 그 희소한 곳은 높은 확률로 AI가 판단하지 못하는 곳이고”
  • [56:22] “어떤 부분에는 도움을 받지만 어떤 부분은 그걸 대신해 버리면 의미 자체가 없어지는 구간들이 있는 것 같아요.”
  • [61:56] “스타일이 중요한 경우에 스타일이 다 비슷하다고 하면 그건 전혀 희소하지 않거든요. 오히려 슬롭이 되는 수밖에 없고요.”