LLM Wiki

bradautomates/claude-video — Claude용 /watch 비디오 분석 플러그인

Properties2
descriptionClaude Video는 URL·로컬 영상을 프레임과 자막/Whisper 전사로 분해해 Claude가 실제 화면과 음성을 바탕으로 답하게 하는 /watch 플러그인이다.
tagsai-coding, ai-agents, developer-tools, open-source, video

5 min read

개요

bradautomates/claude-video는 Claude Code와 여러 Agent Skills 호스트에 /watch 명령을 추가해, YouTube·Loom·TikTok·X·Instagram 등 yt-dlp가 지원하는 URL이나 로컬 비디오 파일을 Claude가 분석할 수 있게 하는 오픈소스 도구다. 핵심 아이디어는 비디오를 그대로 모델에 넣는 것이 아니라, 캡션/전사와 대표 프레임을 추출해 Claude가 Read로 이미지와 타임스탬프 텍스트를 함께 읽게 만드는 것이다. 관련 맥락: anthropic, moc-ai-coding, moc-ai-agents, 2026-07-26-garry-tan-ai-native-company-brain.

핵심 기능

  • 설치 경로: Claude Code는 marketplace에서 watch@claude-video로 설치하고, Codex·Cursor·Copilot·Gemini CLI 등 Agent Skills 호스트는 npx skills add bradautomates/claude-video -g로 설치한다.
  • 제로 설정 지향: macOS에서는 첫 실행 시 yt-dlp와 ffmpeg를 brew로 설치하려고 하며, Linux/Windows는 필요한 설치 명령을 출력한다.
  • 입력 범위: yt-dlp 지원 URL과 .mp4, .mov, .mkv, .webm 같은 로컬 파일을 받는다.
  • 전사 경로: 우선 원본 서비스의 수동/자동 캡션을 가져오고, 없으면 오디오를 추출해 Groq whisper-large-v3 또는 OpenAI whisper-1로 전사한다.
  • 프레임 경로: efficient는 키프레임 중심, balanced/token-burner는 장면 전환 프레임과 duration-aware uniform sampler를 사용한다. 기본 JPEG 폭은 512px이며 Claude Read 호환을 위해 높이를 제한한다.
  • 비용 제어: 비디오 길이에 따라 기본 프레임 예산을 제한하고, 특정 구간 질문에는 --start/--end로 밀도 높은 구간 분석을 권한다.
  • 중복 제거: 정적인 슬라이드·화면녹화에서 거의 같은 프레임이 과다 추출되는 문제를 dedup pass로 줄인다.

사용 사례

  • 바이럴 영상·광고·제품 업데이트 영상에서 후킹 구조와 실제 변경점을 분석한다.
  • 버그 재현 화면녹화에서 문제가 보이는 프레임을 찾아 원인을 설명한다.
  • 긴 영상이나 플레이리스트를 요약 노트로 바꾸어 검색 가능한 자료로 축적한다.
  • 제목·설명·부분 자막만 보고 추측하는 대신, 화면 프레임과 오디오 전사를 같이 근거로 답한다.

기술적 위치

Claude Video는 비디오 이해 모델 자체라기보다 에이전트 하네스용 비디오 ingest 스킬에 가깝다. yt-dlp·ffmpeg·Whisper를 얇게 묶고, 산출물을 Claude가 이미 잘 처리하는 이미지 파일과 타임스탬프 텍스트로 변환한다. 따라서 harness 관점에서는 새 모델 능력을 추가하는 방식이 아니라, 기존 CLI 에이전트의 관찰 채널을 확장하는 방식이다.

메타데이터

  • 저장소: bradautomates/claude-video
  • 설명: “Give Claude the ability to watch any video. /watch downloads, extracts frames, transcribes, hands it all to Claude.”
  • 주 언어: Python
  • 라이선스: MIT
  • 생성: 2026-04-24
  • 최신 push: 2026-07-01
  • 캡처 시점 GitHub 지표: stars 10,735 / forks 1,115 / open issues 70

주의점

  • 캡션이 있는 영상은 무료·빠른 경로로 처리되지만, 캡션이 없으면 Whisper API 키와 비용이 필요할 수 있다.
  • 긴 영상 전체를 희소 프레임으로 한 번 훑는 것보다, 질문이 특정 순간을 가리키면 구간을 좁히는 편이 정확도와 비용 모두에 유리하다.
  • 화면에 중요한 정보가 많은 영상에서는 프레임 예산이 답변 품질의 병목이 된다.

원문

백링크