개요

@coredash.team이 Greg Isenberg의 YouTube 에피소드 “I’m Obsessed With Local AI. Here’s Why”(2026-09-08 업로드)를 5부작 Threads로 요약한 글이다. 로컬 AI를 개발자 장난감으로 보는 시선과 달리, Isenberg는 앞으로 24개월 동안 로컬 AI 네이티브 소프트웨어의 사업 기회가 쏟아진다고 본다. 그가 던지는 질문은 “이 모델이 클라우드 최강 모델보다 똑똑한가”가 아니라 **“이 일에 충분한가”**다. 구글 후원 에피소드라 예시는 Gemma 4 위주다. 로컬 실행 도구 전반은 local-llm과 ollama를 참고한다.

로컬 AI를 이루는 네 조각

조각역할예
모델두뇌 파일Gemma, Llama, Mistral
창고모델을 찾는 곳Hugging Face
소프트웨어모델을 돌리는 앱LM Studio, Ollama (밑단은 llama.cpp, MLX)
워크플로그 위에 올리는 제품직접 만드는 부분
  • 시작 모델로는 Gemma 4 E4B를 권하고, 폰이나 오래된 기기에는 E2B를 권한다(영상 설명란 기준).
  • RAM 16GB면 쓸 만한 실험이 가능하고, 32GB면 더 큰 워크플로가 열린다.

이기는 구조는 하이브리드

  • 로컬 모델이 민감한 파일을 먼저 읽고 개인정보를 걷어낸다.
  • 무거운 추론은 클라우드 모델이 맡는다.
  • 중요한 결정은 사람이 최종 승인한다.
  • 시작은 작게 한다. 폴더 하나, 모델 하나, 결과물 하나로 같은 작업을 10번 돌려 본다. 비싼 장비부터 사지 말고 2021년에 산 노트북으로 시작하라고 조언한다.

스타트업 아이디어 3개

  1. 가정 방문 간호 기록 검수기(Home Health QA Reviewer)
  2. 오프라인 현장 보고서 도우미(Offline Field Report Copilot)
  3. 전문 서비스 업체의 발송 전 검토기(Pre-Send Reviewer)

셋 다 민감한 데이터를 다루면서 아직 2000년대 초반 수준의 도구를 쓰는 업종이다. 데이터를 밖으로 내보내기 어렵다는 제약이 로컬 AI의 진입점이 된다는 논리다.

반론 (댓글)

  • @secret_canada_: M4 128GB로 LM Studio와 Ollama를 깔고 서비스를 만들었는데, 실사용자 4명이 동시에 입력하자 멈췄다. 클라우드 모델의 영역이 넓어지는 속도를 생각하면 인프라 기업이 아닌 이상 로컬 LLM은 시간·돈 낭비가 됐다는 경험담이다. 동시성과 처리량은 로컬 배포의 실제 한계로 남는다.

관련 위키