출처: https://youtu.be/FiOTrxq9ckM?si=zb7Uld6lmYMUHfE1 길이: 09:08 · 채널: jaredrhod · 공개: 2026-08-20 다운로드 자막: 영어 자동자막(JSON3에서 SRT로 변환, 261 cue, 약 09:02까지) 영상 유형: A형 — 음성 에이전트 소개와 시각화·3D 손 제스처 인터페이스 데모가 결합된 제품 투어 캡처 참고: 본편 스트림은 이 환경에서 HTTP 403으로 내려받지 못했다. 아래 12개 이미지는 YouTube storyboard 시트를 직접 crop한 대체 프레임이며, 각 자막 구간과 화면을 대조해 선별했다.
한눈에 보는 요약
- 영상에서 말하는 Jarvis는 하나의 모델 이름이 아니라, Claude Code 위에 메모리·음성·얼굴(시각화)·선택형 손 제스처 인터페이스를 조합한 개인용 에이전트 구성이다.
- 핵심 메모리는 별도 벡터 데이터베이스가 아니라 컴퓨터의 평문 파일과 Obsidian Vault에 저장된다. 영상은 이를 “무제한 영속 메모리”로 소개하며, 에이전트가 매번 읽고 작업 중 갱신하는 구조를 강조한다.
- Claude Code를 실행면으로 사용하므로 파일 읽기·쓰기, 실제 셸 명령 실행, 웹 검색, 여러 작업의 병렬 위임처럼 단순 챗봇보다 넓은 행동 범위를 갖는다.
- 음성 입력·응답과 회로 기판형 visualizer는 에이전트가 듣고 생각하고 답하는 상태를 보여 주며, 키보드 채팅보다 사람과 대화하는 경험을 목표로 한다.
- 선택 기능인 Bear Hands는 고글·장갑 없이 손가락 집기, 회전, 주먹으로 당기기 같은 제스처로 화면 요소·폴더·3D 이미지를 조작한다.
- 제작자는
jaredrhod/fullstack-agent를 무료·오픈소스 설치기로 소개한다. 다만 풀스택 설치기는 Claude Code 전용이고, 개별 구성 요소는 Backtalk(Claude SDK 의존)을 제외하면 다른 LLM에서도 쓸 수 있다고 설명란에 적었다.
핵심 한 줄: Jarvis의 차별점은 더 똑똑한 채팅창이 아니라, Claude Code의 실행 능력에 평문 메모리·음성·상태 시각화·손 기반 화면 조작을 얹어 “항상 곁에 있는 작업자”처럼 만든 풀스택 하네스다.
장면별 상세 설명
[00:15] 1. “내 Jarvis를 내려받는다”는 풀스택 투어
Jared는 설치자가 얻게 되는 것을 네 가지로 예고한다. 자신의 Jarvis 복사본, 말을 걸고 음성으로 답을 듣는 기능, 대화 중 반응하는 visualizer, 그리고 성격과 영속 메모리다. 마지막에는 화면을 손으로 조작하는 Bare Hands 시스템도 선택적으로 추가할 수 있다고 말한다. 영상과 설명란의 공통된 전제는 모든 구성 요소가 무료·오픈소스라는 것이다.
[00:50] 2. 챗봇이 아니라 음성·얼굴·기억을 가진 에이전트
Jarvis는 자신을 “키보드에 문장을 입력하면 답을 돌려주는 챗봇”과 구분한다. Voice는 실제 음성으로 대화하게 하고, Face는 에이전트가 듣고 생각하고 답하는 상태를 화면에 표시한다. 그러나 영상에서 진짜 핵심으로 꼽는 것은 Memory다. 월요일에 말한 내용을 수요일에 잊어버리는 금붕어형 비서가 아니라, 오랜 공백 뒤 돌아와도 이전 맥락을 이어 가는 비서를 지향한다.
[01:35] 3. 음성, visualizer, 영속 메모리의 사용자 경험
Jarvis가 제시하는 패키지는 목소리·얼굴·기억이다. visualizer의 빛과 파형은 음성 응답 중 상태 변화를 보여 주고, 화면이 반응하기 때문에 사용자는 빈 채팅창에 혼잣말하는 느낌을 덜 받는다. 메모리는 모델의 가중치에 영구히 들어간다는 뜻이 아니라, 에이전트 바깥의 저장소가 대화와 작업 맥락을 계속 보존한다는 뜻으로 설명된다.
[02:25] 4. Claude Code는 Jarvis의 “손”이다
영상 속 Jarvis는 Claude Code를 단순한 텍스트 생성 창이 아니라 실행 도구로 묘사한다. 파일을 읽고 쓰며, 잘못된 파일을 다시 고치고, 실제 컴퓨터에서 명령을 실행하고, 모르는 내용은 웹에서 검색할 수 있다는 것이다. 여러 작업을 병렬로 맡기기 위해 자신과 비슷한 하위 인스턴스를 띄울 수도 있다고 말한다. 이 비유에서 Claude Code는 렌치이고 Jarvis는 그 렌치를 들고 실제 일을 하는 작업자다.
[03:38] 5. “무엇을 할 수 있나”보다 “실제로 처리한다”
Jared가 만든 Jarvis는 백그라운드 시스템을 감시하다가 장애가 나면 알림만 보내는 대신 직접 확인하고 고치는 역할을 맡는다. 마케팅 문구·썸네일·영상 제목·이미지를 만들고, 나쁜 아이디어에는 반대 의견을 내며, 영상과 지금 보고 있는 장비의 일부도 만드는 사례를 든다. 따라서 이 영상이 그리는 에이전트상은 “정답을 알려 주는 상담원”보다 파일·프로세스·콘텐츠·운영을 함께 다루는 자동화된 동료에 가깝다.
[04:57] 6. 이름과 성격을 바꿀 수 있는 개인 에이전트
풀스택 저장소를 설치하면 Jarvis의 성격이 기본값으로 들어오지만, 사용자는 이를 수정하고 에이전트의 이름도 바꿀 수 있다. 앱이나 웹사이트를 만들라고 지시하거나 홈 오토메이션에 연결하는 식으로 원하는 역할을 정의하면, 에이전트가 필요한 작업을 찾아 실행한다는 설명이다. 여기서 페르소나는 장식이 아니라, 지속적으로 함께 일하는 주체의 행동 방식과 응답 톤을 고정하는 설정으로 기능한다.
[05:31] 7. Obsidian Vault가 메모리 저장소가 된다
설치 과정에서 컴퓨터에 Obsidian Vault가 만들어지고, Jarvis의 메모리 파일이 그 안에 저장된다고 설명한다. 설명란은 이 구조를 “컴퓨터에 있는 평문 파일 폴더”로 더 구체화한다. 에이전트가 대화 시작 시 파일을 읽고, 작업하면서 다시 쓴다는 모델이므로, 메모리의 장점은 신비한 장기 기억이 아니라 사람이 열어 보고 복사·백업·수정할 수 있는 로컬 파일이라는 데 있다. 반대로 파일 쓰기 권한과 민감정보 관리가 사용자의 책임이 된다.
[05:55] 8. Bear Hands — 장비 없이 손으로 화면을 조작하기
선택 기능인 Bear Hands는 고글이나 장갑 없이 맨손으로 화면의 요소를 움직이는 인터페이스다. 두 손가락을 집어 확대하고, 누른 채 돌려 3D 방향을 바꾸며, 원하는 요소를 직접 선택할 수 있다. 영상의 포인트는 가상현실 장비를 완전히 대체한다는 주장보다, 에이전트가 만든 결과물을 마우스와 키보드 외의 방식으로 살펴보고 배치하는 별도 창을 제공한다는 데 있다.
[07:00] 9. 폴더와 3D 이미지를 같은 작업 공간에 올린다
Bear Hands의 Jarvis 화면은 단순한 장식용 HUD가 아니라 컴퓨터의 파일·폴더와 연결된다. 폴더 목록의 색상과 구성을 바꿀 수 있고, 특정 폴더 안의 3D 이미지를 골라 화면에 렌더링한 뒤 크기와 방향을 조절한다. 즉 로컬 파일 시스템을 에이전트가 읽을 수 있는 지식 저장소로만 두지 않고, 손으로 탐색하는 공간적 UI로도 투영한다.
[07:24] 10. 요청하면 로컬 이미지도 화면에 띄운다
Jared는 자신의 조지아주 에어비앤비에 있는 마법사 테마 공간의 ‘wand and lantern’ 이미지를 Jarvis에게 찾아 화면에 보여 달라고 요청한다. Jarvis는 파일을 찾은 뒤 이미지를 띄우고, 사용자는 이를 화면에서 닫거나 이동할 수 있다. 이 데모는 음성 명령, 로컬 파일 검색, 시각적 결과 표시가 하나의 루프로 이어지는 예시다.
[08:04] 11. Claw 제스처로 요소를 끌어오고 닫는다
손을 갈고리 모양으로 만들어 화면 요소를 가리키면 해당 요소가 흔들리고, 주먹을 쥐어 자신 쪽으로 당길 수 있다. 대상은 사진·텍스트 파일·3D 이미지가 될 수 있으며, 색상 변경과 공간 안에서의 이동도 가능하다. 영상은 이 인터페이스를 “AI가 화면에 무언가를 보여 주는 기능”에서 끝내지 않고, 사용자가 결과를 집어 들고 정리하는 후속 조작 계층으로 제시한다.
[08:58] 12. 네 가지 구성 요소와 설치 선택지
마지막 요약은 메모리 시스템, 페르소나, 음성, 회로 기판형 visualizer, 그리고 Bear Hands 인터페이스다. 설명란에서는 이를 Memory·Voice·Face·Optional Hands의 네 부분으로 정리하며, 전부 설치하거나 메모리만 선택할 수 있다고 안내한다. 풀스택 설치기는 jaredrhod/fullstack-agent이고, 개인 에이전트 설정을 위한 추가 안내는 jaredrhod.com에서 제공한다고 적혀 있다.
부록 — 실전 체크리스트
- 먼저 메모리·음성·visualizer·손 제스처 중 어떤 계층이 필요한지 나누고, 모두 설치하기 전에 최소 조합으로 시작한다.
- 풀스택 설치기가 Claude Code 전용이라는 점을 확인한다. 다른 LLM을 쓰려면 개별 저장소를 검토하고, 음성 Backtalk는 Claude SDK 의존성을 별도로 확인한다.
- 평문 메모리 Vault의 위치·백업·동기화·민감정보 제외 규칙을 먼저 정한다. “무제한 기억”은 파일을 계속 보존한다는 뜻이지 자동으로 안전하게 관리된다는 뜻은 아니다.
- 실제 파일 쓰기·셸 명령·웹 검색 권한을 작은 테스트 작업으로 검증한 뒤, 운영 서버나 홈 오토메이션에 연결한다.
- 기본 Jarvis 페르소나를 그대로 쓰지 말고 이름·말투·거부 기준·허용할 수 있는 작업 범위를 자신의 업무에 맞게 조정한다.
관련 페이지
- moc-ai-agents — AI 에이전트 생태계와 실행·메모리·오케스트레이션 노트의 이정표
- moc-ai-agents-memory — 평문 파일, 장기 기억, 메모리 계층과 스킬 시스템을 모은 하위 MOC
- moc-claude-code — Claude Code의 파일·셸·웹 도구와 에이전트 루프 정리
- code-native-memory — 파일·VCS·구조화된 맥락을 이용하는 코드 네이티브 메모리 관점
- open-source — 무료·오픈소스 도구를 검토할 때의 관련 엔터티 페이지
원문 인용 모음
- [00:00] “I’ve got unlimited persistent memory.”
- [01:42] “A voice, a face, and a memory that actually holds on to.”
- [02:34] “I’ve got actual hands.”
- [03:25] “Claude Code’s the wrench. I’m just the smart ass holding it.”
- [05:29] “Your agent will have unlimited persistent memory.”
- [08:37] “You get the memory system, you get the personality, you get the voice, you get the visualizer.”