출처: https://youtu.be/l8ywUsEJ2XQ 길이: 1:09:33 · 채널: Nate Herk | AI Automation · 게스트: Dave Ebbelaar(Python 10년+, 팀이 AI 솔루션 50개 이상 납품, 받아쓰기 앱 Glaido 제작) 자막: 공식 자막이 없어 품질 낮은 자동 영어 자막을 썼다. 고유명사는 영상 오버레이와 설명란으로 대조했다.

한눈에 보는 요약

  • Dave는 이제 코드를 한 줄도 직접 쓰지 않는다. 모든 코드가 Codex·Claude Code 같은 코딩 agent를 거친다. 2022년의 자신과 비교하면 출시 가능한 코드 기준 **“확실한 10배”**이고, 예전엔 못 하던 프런트엔드 같은 영역까지 넓히면 그 이상이다.
  • 처음으로 초보자와 수십 년 경력자가 같은 도구, 같은 과정을 쓴다. 차이는 어떤 지시를 주고 결과를 어떻게 검증하느냐뿐이다.
  • 만들기 전에 4단 사다리로 규모부터 정한다: ① 나만 쓰는 도구 → ② 팀·사내 도구 → ③ 다른 회사에 파는 제품+서비스 → ④ 누구나 가입하는 SaaS. 위로 갈수록 데이터·법적 책임이 커지며, 칸을 건너뛰면 안 된다.
  • 1년 전 유행한 스펙 주도 개발 대신 이제는 **의도 중심(intent-based)**으로 “그냥 만들어 줘” 하고 결과를 보며 고친다. 모델이 좋아지면서 계획 모드가 도구 안으로 흡수됐다.
  • 검증은 “좋음”의 정의 → 예시 데이터셋 → 반복 루프 순이다. 주관적인 품질은 사람 판정 약 100건에 LLM-as-a-judge를 맞추고, 일치율이 오르도록 system prompt를 반복 최적화한다.
  • 규모를 키울 때는 **시스템 아키텍처(백엔드·프런트엔드·DB)**와 코드베이스 아키텍처를 공부한다. 후자는 Matt Pocock의 skill로 스파게티 코드를 막는다.
  • 보안 기본기는 세 가지다: Supabase + row-level security, 비밀값은 환경 변수로, 방화벽으로 프런트엔드 IP만 허용. 아키텍처는 나빠도 고칠 수 있지만 유출된 개인정보는 되돌릴 수 없다.

장면별 상세 설명

[01:28] 1. 확실한 10배

장면 1 — 챕터 1 "A Solid 10X"

Dave가 2013년에 프로그래밍을 시작했을 때는 작은 프로그램 하나에 Stack Overflow를 뒤지며 오랜 시간을 쏟아야 했다. 지금은 요청 한 번으로 쓸모 있는 것을 만든다. 개인 자동화, 사내 도구, 고객용 자동화, 나아가 기술 경험이 적어도 팔 수 있는 소프트웨어 제품 전체까지 가능해졌다.

속도 질문에는 처음 시작했을 때와 비교하면 100배지만 그건 비현실적인 비교라고 선을 긋는다. 이미 3년째 매일 Python을 쓰던 2022년의 자신과 비교하면 출시 가능한 코드 기준 **“확실한 10배”**다. 데이터 과학자·AI 엔지니어 출신이라 JavaScript를 한 줄도 써 본 적 없던 그가 프런트엔드와 대시보드까지 만들게 된 몫을 더하면 더 크다.

그래서 그는 제너럴리스트가 되라고 권한다. Meta·Google의 상위 1% 전문 팀이 아니라면, 한 영역만 하는 사람은 agent가 다 만들어 놓고 프런트엔드나 DB 연동을 기다리는 병목이 된다. Glaido 팀도 역할은 나누되, 각자가 맡은 기능을 처음부터 끝까지 혼자 출시하고 다른 사람은 검토만 한다. 엔지니어링 원칙을 익히면 언어와 프레임워크는 점점 덜 중요해진다.

[10:00] 2. 바이브 코딩을 보는 엔지니어의 시선

Dave는 자신도 바이브 코더라고 말한다. 프런트엔드와 웹사이트를 코드를 보지 않고 만들기 때문이다. 핵심은 위험과 보상의 균형이다. 개인 웹사이트라면 위험은 0이다. 다른 사람이, 특히 개인정보와 함께 쓰기 시작하는 순간부터 “겉보기로 돌아가는지”만 보는 테스트를 넘어 정말 안전한지 따져야 한다.

[12:42] 3. 4단 사다리 — 무엇을 만들지 규모부터

장면 2 — 챕터 2 "The Four-Rung Ladder"

주말에 아이디어를 구현하려는 사람에게 Dave가 던지는 첫 질문은 “이게 어느 칸인가”다.

칸누가 쓰나예걸린 것
1나 혼자돈 내던 구독 대체, 여러 도구 합치기거의 없음. 그냥 Claude Code 열고 시작
2팀·회사 내부사내 도구누가 쓰는지, 어떤 데이터가 들어가는지
3다른 회사AI 에이전시가 파는 자동화(제품+맞춤 서비스)계약·이용약관·개인정보 보호 의무
4불특정 소비자가입·구독형 SaaS(Glaido 같은)사용자 수만큼 커지는 개인정보·데이터 권리 위험

나중에 위 칸으로 올라가는 건 언제든 가능하니 1칸에서 시작해도 갇히지 않는다. 경계할 것은 칸 건너뛰기다. 비개발자가 데이터가 시스템 안에서 어떻게 흐르는지도 모른 채 바로 복잡한 소프트웨어를 팔고 회사들이 거기에 의존하게 만드는 경우다. Nate는 땅에서 4칸으로 바로 뛰면 떨어져서 처음부터 다시 해야 한다고 정리한다.

Dave는 운동에 빗대어 이 시기가 특이하다고 말한다. 농구를 처음 배우는 사람은 엘리트와 다른 훈련을 하지만, 지금은 초보자와 베테랑이 같은 코딩 agent로 시작한다. 실력은 어떤 지시를 주고 결과를 어떻게 확인하느냐에서 갈린다. 시작 비용은 월 20달러 구독이면 되지만 실제로는 100~200달러 플랜이 필요할 수 있다.

[21:05] 4. 의도 중심으로 만들기 — 스펙보다 “일단 만들어 줘”

장면 3 — 챕터 3 "Building with Agents"

1년 전에는 스펙 주도 개발이 대세였다. AI로 먼저 기술 요구사항 문서를 만들고, 읽고 승인한 뒤에야 코드 작성을 맡기는 방식이다. Dave는 이 과정이 원하는 것을 정리하는 데는 여전히 쓸모 있다고 본다. 다만 모델이 좋아지면서 지금은 대부분 바로 만들기로 들어가고 구조는 모델에게 맡긴다. 그가 경험이 많은 Python에서만 지켜야 할 기준을 안내한다.

그래서 시작 방법도 단순하다. Codex나 Claude Code를 열고 최신 상위 모델로 만들고 싶은 것을 말한 뒤, 결과를 보고 무엇이 좋고 싫은지 말한다. Nate가 Google 엔지니어에게 들었다는 **“의도 기반 엔지니어링”**이라는 표현에 Dave도 동의한다. 배관 같은 기술 작업은 agent가 처리하고, 사람은 의도를 말한다. 무엇을 원하는지는 눈앞에서 써 봐야 제대로 피드백할 수 있으니 큰 계획보다 “만들고 → 써 보고 → 고치기”가 낫다.

Glaido 팀은 Glaido로 Glaido를 만든다. 실제 코드베이스에서 새 브랜치를 따 음성으로 “이거 해 봐”라고 시키고, 제품 안에서 바로 결과를 보며 다듬는다. 계획 모드가 필요 없어진 이유를 Dave는 OpenAI와 Anthropic이 “먼저 생각하고 코드로 들어가는” 과정을 모델과 도구에 기본 기능으로 넣었기 때문이라고 본다. Anthropic 엔지니어들도 X에서 같은 이야기를 했다고 한다.

[29:30] 5. “좋음”을 정의하고 루프로 검증하기

agent 말고는 진실의 출처가 없다는 비개발자의 불안에 대한 답이다. 검증은 앱마다 다르지만 순서는 같다.

  1. “좋음”이 무엇인지 분명히 한다. Glaido라면 버튼을 누르고 말하면 500ms 안에 처리되고, 말의 대부분은 살리면서 오류만 고친 텍스트가 붙여 넣어지는 것이다.
  2. 좋았던 예시를 모은다. Glaido는 프라이버시 우선 설계라 사용자 데이터를 쓰지 않는다. 대신 내부 개발자 계정 데이터로 데이터셋을 만들어 벤치마크로 쓴다. 데이터가 없으면 모델에게 현실적인 데이터를 생성하게 할 수도 있다.
  3. 목표를 주고 루프로 돌린다. “더 빠르게”, “실수 줄이기”처럼 목표를 주면 Opus급 모델은 데이터를 쓰고, 필요하면 새로 만들고, 조사하고, subagent를 띄우며 결과가 나아질 때까지 반복한다.

Nate는 이 대목에서 Karpathy의 autoresearch가 나왔을 때 agent가 목표를 보고 계속 탐색하는 모습에 놀랐던 기억을 꺼낸다(2026-03-29-pi-autoresearch 참고). 사람에게 일을 맡길 때처럼 기대치를 맞추지 않으면, 결과가 틀려도 상대가 잘못한 게 아니라 내가 불분명했던 것일 수 있다.

[34:30] 6. 주관적인 품질은 LLM-as-a-judge로

장면 4 — 오버레이 "LLM as a Judge: 두 번째 AI 모델이 작성된 루브릭으로 다른 모델의 출력을 채점"

지연 시간처럼 숫자가 있는 목표는 매 반복마다 좋아졌는지 바로 보인다. Nate가 예로 든 영상 편집(“전문적으로, 흥미롭게”)이나 Dave가 많이 다룬 고객 지원 답변은 정답이 수천 가지일 수 있다. 사람이 모든 티켓을 검토하면 자동화의 의미가 없다.

그래서 쓰는 방법이 LLM-as-a-judge다.

  1. 한동안 사람이 약 100건을 직접 판정하고 이유까지 스프레드시트에 기록한다. 지루하고 확장되지 않지만 사람의 “취향”을 포착하는 유일한 길이다.
  2. 별도 LLM 호출이 같은 답변을 “좋다/나쁘다 + 이유”로 판정하게 하고 사람과의 일치율을 잰다. 50~80%가 출발점이다.
  3. 사람 데이터와 LLM 데이터를 AI에게 보여 주며 “일치율이 오르도록 judge의 system prompt를 고쳐라”는 루프를 돌린다. 75 → 80 → 90 → 95 → 99%.

judge는 결국 system prompt와 모델뿐이다. 그래서 모델을 바꾸면 다시 맞춰야 할 수 있다. 영상 편집은 같은 절차를 쓰되 아직 LLM의 시각 분석 능력이 제한이라 더 어렵다. Nate는 키·몸무게 같은 통계와 함께 “이 선수는 시야가 좋다”는 스카우트의 판단을 믿는 스포츠 팀에 비유한다. judge 루프는 그 스카우트의 안목을 LLM에 옮기는 일이다. self-preference 같은 judge의 편향은 2026-08-23-linkedin-sujin-kang-llm-judge-self-preference 참고.

[42:44] 7. 규모를 키울 때 — 두 층의 아키텍처

장면 5 — 챕터 4 "Shipping It Safely"

여기까지는 “그냥 Claude Code 쓰고 모델에게 물어보라”로 충분했다. 다음 단계로 가려면 소프트웨어가 어떻게 돌아가는지 이해해야 한다. Dave는 아래 용어들을 직접 Codex나 Claude에게 물어보며 공부하라고 한다.

시스템 수준 아키텍처는 백엔드·프런트엔드·DB·외부 서비스가 서로 어떻게 통신하는지다. 웹·데스크톱·모바일 중 무엇인지, 백엔드(Python·Rust·C)와 프런트엔드(Next.js)를 나눌지, TypeScript 하나로 갈지에 따라 달라진다. 진지해지면 agent에게 먼저 묻는다. “XYZ를 만드는데 어떤 stack이 최선인가? 백엔드와 프런트엔드를 나눠야 하나? DB는 뭘 써야 하나? 가장 단순한 해법은?” 언어는 한번 정하면 바꾸기 어렵다. Glaido도 초기에 조사를 제대로 하지 않고 팀이 익숙한 stack을 골랐다가 나중에 갈아타느라 고생했다. 예전엔 익숙한 stack을 쓸 수밖에 없었지만 이제는 근거가 있으면 더 맞는 stack으로 갈 수 있다.

프로젝트(코드베이스) 수준 아키텍처는 파일·폴더 구조와 함수·클래스·모듈 구성이다. 아이디어를 오가며 바이브 코딩을 하면 “나중에 보자” 하고 둔 실험 코드 위에 새 기능이 쌓인다. 그러다 석 달 잘 돌던 앱이 쓸모없어 보이는 기능 하나를 지운 순간 통째로 멈춘다. 이게 스파게티 코드고, agent도 갈수록 코드를 찾기 어려워진다.

장면 6 — 오버레이 "Matt Pocock: TypeScript 교육자, Total TypeScript 제작자"

처방으로 Dave는 Matt Pocock의 skill을 추천한다. 예전 이름은 “improve codebase architecture”였고 지금은 “codebase design” 비슷한 이름으로 바뀌었다. deep module, locality, seam을 다루며, AI가 만든 쓰레기 코드를 막고 AI가 탐색하기 쉬운 코드베이스를 만들려고 만든 skill이다. Dave도 자기 코드베이스를 검토할 때 자주 쓴다. skill을 읽고 agent에 적용하는 것만으로 코드베이스 아키텍처 감각이 는다(2026-07-05-superpowers-to-matt-pocock-skills 참고). 시스템 수준은 점심시간에 산책하며 agent에게 물어보듯 하루만 투자해도 된다고 권한다.

[53:00] 8. 보안 기본기 — 몇 걸음만으로 거의 뚫을 수 없게

Dave 자신도 보안 전문가는 아니고 팀의 전문가에게 배웠다고 말한다. 그래도 기본 몇 가지만 지키면 거의 뚫기 어렵다고 한다. 여기에는 서비스가 어디에 배포되고 무엇이 그것을 지키는지를 다루는 인프라가 겹친다.

장면 7 — 오버레이 "Supabase: Postgres 기반 오픈소스 백엔드, 로그인·파일 저장·API 포함"

DB — 특별한 이유가 없으면 Supabase. 비정형 DB나 전용 벡터 DB가 필요하다는 말에 흔들리지 말라고 한다. Supabase가 다 처리한다. 반대할 확실한 근거가 있는 사람이라면 이미 스스로 결정할 실력이 있는 사람이다. self-host도 되지만 대부분은 supabase.com 클라우드 버전을 쓰면 된다.

장면 8 — 오버레이 "Row-Level Security: 모든 요청을 검사해 각 사용자가 허용된 행만 보게 하는 DB 규칙"

그다음 두어 시간을 Supabase 보안 모범 사례에 쓴다. 핵심은 **row-level security(RLS)**다. DB와 Supabase 로그인 계정에는 강한 비밀번호와 2단계 인증을 쓰고, DB에 접속하는 모든 서비스는 자격 증명을 코드에 박지 말고 환경 변수로 넘긴다.

백엔드는 데이터가 오가는 곳이라 두 번째로 중요하다. 로컬에서 만든 백엔드를 Railway·Render 같은 원클릭 배포, VPS, Azure·AWS·GCP에 올릴 때 방화벽 규칙을 설정한다. 사용자에게 열려 있어야 하는 것은 프런트엔드뿐이고, 백엔드와 DB는 아무도 직접 접근하면 안 된다. 그래서 Vercel 등에 배포된 프런트엔드나 데스크톱 앱의 IP만 화이트리스트로 허용한다. DB 쪽 방화벽은 Supabase 대시보드에서 설정한다.

요약하면 보안은 세 가지다. ① 비밀값·API 키·자격 증명을 브라우저 코드 검사로 보이지 않게 숨기고, ② RLS를 켜고, ③ DB와 백엔드에 프런트엔드만 허용하는 방화벽을 둔다. Nate의 정리처럼 핵심은 실력이나 학력이 아니라 “모르는 줄도 모르는 것(unknown unknowns)“을 알아차리는 인식이다. 알아야 agent에게 물을 수 있고, 답을 보고 “지금 내 앱엔 중요하지 않다”고 거를 수도 있다.

[62:30] 9. 지금 기술 경험 없이 시작한다면

장면 9 — 오버레이 "David Heinemeier Hansson: Ruby on Rails 창시자, 37signals 공동 창업자"

Dave는 대학 졸업 뒤 우연히 프리랜스 일을 맡은 뒤로 거의 늘 혼자 일하며 사업을 일궜고, 그게 큰 자유를 줬다. 이제 그 기회가 더 많은 사람에게 열렸다. 도구가 쉬워져도 모두가 실제로 나서지는 않으니, 직접 만들어 팔고, 콘텐츠를 만들고, 지역 사업체나 대기업을 돕는 기회는 많다. 직장인도 병행할 수 있다. 점심시간에 휴대폰으로 Claude에게 요청을 던져 두면 퇴근 무렵 고객용 자동화가 만들어져 있다.

Lex Fridman 팟캐스트에서 DHH는 지금 개발자가 **“병 속의 지니”**를 가졌다고 표현했다. 소원은 세 개로 제한되지 않고 토큰 예산만큼 빌 수 있다. Dave는 예전엔 1년 단위로 체감되던 모델 발전이 이제 분기마다 온다며, 도구를 익혀 원하는 삶을 만드는 데 쓰라고 마무리한다.

부록 — 실전 체크리스트

  • 만들려는 것이 사다리의 몇 칸인지 정한다(나 → 팀 → B2B → SaaS). 칸을 건너뛰지 않는다.
  • Codex나 Claude Code에 의도를 말하고, 만들어진 것을 써 보며 피드백한다. 큰 스펙 문서는 필수가 아니다.
  • “좋음”을 측정 가능한 문장으로 쓴다(지연 시간, 정확도, 출력 형식).
  • 좋은 예시 데이터셋을 모으거나 생성해 benchmark로 쓰고, 목표 + 루프로 개선을 맡긴다.
  • 주관적 품질은 사람 판정 약 100건을 쌓고 LLM judge의 일치율을 system prompt 반복 최적화로 올린다.
  • agent에게 stack을 묻는다(백엔드·프런트엔드 분리 여부, DB, 가장 단순한 해법). 언어는 처음에 신중히 고른다.
  • Matt Pocock의 codebase design 계열 skill로 코드베이스를 정기 점검해 스파게티 코드를 막는다.
  • DB는 Supabase 클라우드를 쓰고 RLS를 켠다. 강한 비밀번호와 2FA를 쓴다.
  • 자격 증명은 환경 변수로만 넘긴다. 브라우저에서 보이는 코드에 비밀값을 두지 않는다.
  • 백엔드와 DB에 방화벽을 두고 프런트엔드 IP만 허용한다.

원문 인용 모음

  • [00:09] “I no longer write a single line of code myself. None.” — Dave
  • [04:00] “Strong 10 times the actual useful, release-ready code that you can use.” — Dave
  • [18:30] “We all start with the same great tools… the only difference is what instructions you give them and how you check the result.” — Dave
  • [20:00] “A security breach is something you can’t fix… Once those emails and personal data are leaked, there’s no going back.” — Dave
  • [25:30] “You can’t give the best feedback until you see it in front of you and try it.” — Dave
  • [55:30] “Unless you have a good reason not to use Supabase, use Supabase.” — Dave
  • [62:00] “It’s not about skills, intelligence, or years of study. It’s just awareness.” — Dave

관련 노트