원문: @choi.openai의 Threads 스레드 · 수집일: 2026-10-31 · 저장소: https://github.com/vercel-labs/agent-desktop
핵심 요지
- Vercel Labs의 agent-desktop은 AI 에이전트가 데스크톱 앱을 조작하게 해 주는 오픈소스 CLI이자 C 라이브러리다. 같은 팀의 agent-browser가 웹 브라우저를 다룬다면, 이 도구는 OS 전체의 앱을 다룬다. macOS, Windows, Linux를 지원한다.
- 스크린샷 픽셀을 추측하지 않고 OS 접근성 트리를 읽는다. 스냅샷을 찍으면 조작할 수 있는 요소마다
@<snapshot_id>:eN형태의 ref가 붙은 JSON이 나오고, 에이전트는 ref로 행동한 뒤 다시 스냅샷을 찍어 결과를 확인한다. - 기본값은 headless다. 접근성 API로 행동하기 때문에 실제 포인터를 움직이거나 포커스를 빼앗지 않아서, 사람이 다른 작업을 하는 동안 백그라운드에서 돌릴 수 있다.
- 원 게시물은 “여러 에이전트가 각자 독립된 마우스 커서로 동시에 작업”하는 것을 특징으로 꼽았다. 저장소 문서를 보면 이 커서는 표시 전용 오버레이다. 커서는 동시에 움직이지만 실제 입력은 lease로 직렬화되어 한 번에 하나씩 실행된다(아래 해석 참고).
수집 범위
- 기준: 1/2 게시물 (공유 링크
threads.com/share/KgvSX0Wqv에서 리디렉션) - 범위: 동일 작성자의 연속 게시물 2개(1–2번). 스레드의 시작점이라 이전 맥락은 없다.
- 상태: complete. 타인 답글 2개는 raw에 참고로만 기록했다.
- 보강: 링크된 GitHub 저장소의 README, CONCEPTS.md, CHANGELOG, API 메타데이터를 함께 읽었다.
스레드 전개
- 1번 게시물: agent-desktop 공개 소식. 컴퓨터 전체를 조작하고, 3대 OS를 지원하고, 백그라운드에서 실행되며, 에이전트마다 커서를 따로 쓴다고 소개한다. 약 20초 길이의 데모 동영상이 붙어 있다.
- 2번 게시물: GitHub 링크(
vercel-labs/agent-desktop)를 단다.
저장소에서 확인한 내용
| 항목 | 내용 |
|---|---|
| 형태 | Rust CLI + C 라이브러리(libagent_desktop_ffi), Apache-2.0 |
| 상태 | Stars 3.4k, v1.0.0(10-27, Linux 지원 추가) → v1.0.2(10-30). 저장소 생성은 2026-02-19라서 “공개”는 1.0 출시를 가리킨다 |
| 관찰 루프 | snapshot --app Finder -i → click @s8f3k2p9:e8 → 다시 snapshot. ref는 그것을 만든 스냅샷에 묶이고, UI가 바뀌면 STALE_REF/AMBIGUOUS_TARGET을 돌려준다 |
| 플랫폼 | macOS AX(손쉬운 사용 권한 필요), Windows UIA, Linux AT-SPI(마우스는 X11 + --headed, Wayland는 일부만 지원) |
| 명령 | 60개(동작하는 것은 56개): 관찰·ref 행동·키보드/마우스·앱/창·알림·클립보드·세션/trace |
| 에이전트 연동 | agent-desktop skills get desktop으로 버전에 맞는 사용법을 출력하고, npx skills add …로 스킬을 설치한다. 오류 envelope의 disposition.retry가 safe일 때만 재시도한다 |
| 개인정보 | 스냅샷·클립보드·스크린샷에 개인 화면 내용이 들어갈 수 있다. 선택형 JEV 헬퍼는 화면 설명을 모델 제공자에게 보낸다 |
해석과 적용 메모
- “독립 커서”의 실제 의미.
session start --cursor --multi-agent를 쓰면 (세션, 에이전트 ID)마다 커서 오버레이가 하나씩 생긴다. 문서에 따르면 오버레이는 OS 포인터를 움직이거나 대체하지 않고, “interaction lease가 공유 OS 포인터의 물리 입력을 여전히 직렬화하므로 여러 에이전트의 커서는 동시에 움직이되 행동은 차례로 실행된다.” 시각적으로는 병렬처럼 보이지만 실행은 순서대로다. 답글에서 나온 “다른 마우스가 또 열겠네” 같은 충돌 걱정을 이 lease가 막는다. - 백그라운드 실행의 조건. headless 모드는 접근성 API가 요소를 노출할 때만 쓸 수 있다. 의미 경로가 없으면 fail-closed로 실패하고, 물리 입력이 필요하면
--headed를 켜야 한다. 그때는 사람의 작업과 부딪힌다. - 이 볼트의 다른 접근과 비교하면, 에이전트에게 Mac 사용자 계정을 따로 주는 2026-09-21-x-jasonkneen-agent-desktop(같은 이름의 다른 프로젝트)이나 VM·샌드박스로 격리하는 cua와 달리 내 세션 안에서 접근성 트리로 다룬다. 전체 지형은 computer-use-agent-landscape 참고.
- 2026-09-21-x-pluvio9yte-jev-project-list-20 11번의 “agent-desktop(접근성 트리 + Jev 판단)“은 이 저장소의 JEV 헬퍼 스킬과 설명이 맞아떨어져 같은 프로젝트로 보인다(확인한 것은 아님).
- 직접 설치·실행은 하지 않았다.
- 원 발표는 Vercel의 Chris Tate가 X에 올렸다(@ctatedev, 2026-10-31): “agent-browser를 컴퓨터 전체로”, 어떤 코딩 에이전트에서도 쓰는 Computer Use, macOS·Windows·Linux, 작업 중에도 백그라운드 실행, 에이전트마다 자기 커서로 병렬 사용. 작성자 답글에 따르면 Vercel Labs에 새로 합류한 @mdlahfir가 만들었다. 커서의 실제 의미는 위 해석 참고.
누락·접근 제한
- 데모 동영상(약 19.9초)은 저장하지 않았고 내용도 확인하지 않았다.
- Threads에 “일부 추가 답글은 확인할 수 없습니다”라는 표시가 있었다. 타인 답글이라 수집 범위 밖이다.
관련 노트
- 2026-09-21-x-jasonkneen-agent-desktop: 이름만 같고 방식이 다른 Mac 계정 분리형 Agent Desktop
- cua, computer-use-agent-landscape, 2026-05-05-background-computer-use
- moc-dev-tools