원문 shhivv/arc-cua · MIT · Python · 스타 266(2026-10-06 기준) · 2026-09-20 생성

한 줄 요약

macOS용 computer-use 도구 두 개를 한 패키지에 담았다. arc-driver는 에이전트(Claude Code·Codex 등)가 앱 창을 읽고 조작하는 드라이버이고, arc-cua는 상위 에이전트가 넘긴 하위 작업을 빠른 결정 모델이 대신 클릭해 주는 실행 루프다. 둘은 서로 독립이며, 드라이버만 쓸 때는 모델도 API 키도 필요 없다.

arc-driverarc-cua
역할앱 창 읽기·조작하위 작업을 결정 모델이 실행
행동 결정사용자의 에이전트결정 모델(JEV 또는 직접 만든 provider)
모델·API 키불필요필요
사용법arc-cua mcp, Python arc_cua.Driverexecute_payload, DesktopExecutor, arc-cua run

arc-driver: 백그라운드 조작

사용자의 포인터, 전면 앱, 창 위치를 그대로 둔 채 앱을 조작한다. 최소화된 창이나 숨겨진 앱도 되는데, 입력이 필요하면 창을 보이지 않는 가상 디스플레이로 잠시 옮겼다가 되돌린다.

claude mcp add arc-cua -- uvx --from 'arc-cua[macos]' arc-cua mcp
  • 접근성 기반 관측. observe가 화면에 보이는 요소만 접근성(AX)으로 읽어 snapshot(id·role·name·value·가능한 액션)을 준다. 2,000개 파일 목록도 보이는 행만 읽어 snapshot이 3–26KB에 머문다.
  • 행동하는 순간에 다시 검증한다. 앱의 접근성 알림으로 창·시트·메뉴·포커스 변화를 기록해 두고, snapshot 이후 구조가 바뀌었으면 changed, 요소가 바뀌었으면 stale을 돌려주며 행동하지 않는다. 새 snapshot을 같이 주므로 에이전트가 다시 판단하면 된다. 접근성 액션이 시트를 뚫고 아래 창에 닿는 사고를 막는 장치다.
  • settle: true. 알림이 0.15초간 잠잠해지면 끝내고, 무반응이면 최대 0.6초, 어떤 경우든 2초가 상한이다. reacted: false는 액션이 아무 효과도 못 냈을 가능성을 알린다.
  • 창 단위 지정. WindowTarget(pid, window_id)로 창 하나를 겨냥하며, 창이 닫히거나 교체되면 다른 창으로 바꿔치기하지 않고 TargetUnavailable로 실패한다.
  • 필요 권한은 Accessibility이고 스크린샷에는 Screen Recording이 더해진다. 권한은 드라이버를 띄운 터미널·앱에 부여된다.

arc-cua: 하위 작업 위임 루프

핵심 발상은 “클릭 하나하나에 프런티어 모델이 필요하지 않다”는 것이다. 플래너(어떤 모델이든)가 goal·inputs·verification·constraints·max_actions로 이뤄진 Subtask를 넘기면, 결정 모델이 관측 → 선택 → 신선도 검사 → 실행 → 화면 안정화를 반복한다. 최적화 목표는 UI 액션 수가 아니라 작업 하나당 비싼 추론 호출 수다.

  • 결정 모델. 기본은 TypeSafe를 통한 jev(구조화된 상태에서 typed 선택지를 골라 확률로 답하는 모델)이며, ChoicePolicy와 ChoiceTransport만 구현하면 다른 provider로 바꿀 수 있다. 선택지는 현재 화면이 실제로 제공하는 대상·연산으로만 만들어진다.
  • 에이전트가 의도를 소유한다. 모델은 대상과 연산만 고르고 텍스트를 지어내지 못한다. 입력할 리터럴은 inputs에서만 오며, 값이 없으면 NEEDS_INPUT으로 멈춰 어떤 필드가 무엇을 필요로 하는지 알려 준다.
  • 종료 상태. SUBTASK_COMPLETE, BLOCKED, NEEDS_AGENT, NEEDS_INPUT. 막히면 플래너에게 되돌린다.
  • 위험 통제. 라벨이 delete·send·purchase·close 계열인 컨트롤은 allowed_risks에 허용하지 않으면 모델에 제시하지 않고, 정책이 골라도 런타임이 거부한다. secret_inputs로 지정한 값은 모델이 읽는 모든 곳에서 [secret]으로 가려진다. 다만 screenshot_checks·screenshot_steps로 보낸 스크린샷은 가려지지 않는다.
  • 지각. AX와 Apple Vision OCR을 합친 하이브리드(접근성이 빈약한 앱에서만 OCR)나 AX 전용 백엔드를 고른다. Chrome은 CDP 기반 ChromeBackend로 macOS·Linux·Windows에서 같은 루프를 돈다.
  • 실행은 Python API 외에 arc-cua run으로도 된다. JSON 하나를 stdin으로 받아 액션마다 한 줄씩 출력하고, 종료 코드로 결과를 구분한다.

측정

작업(JEV, 각 5회, 헤드리스 Chrome)성공중앙 시간결정 횟수결정 지연
여행 폼 입력·체크박스·검색5/52.9초5273ms
쿠키 배너 뒤 버튼 클릭5/52.3초5306ms
위키백과 검색 후 문서 열기5/52.0초2319ms

성공 여부는 모델의 완료 선언이 아니라 페이지 자체 기록으로 판정했다고 한다. 드라이버 벤치마크도 결과 확인을 드라이버 밖(디스크 파일, 별도 접근성 읽기)에서 하고, 매 액션마다 사용자의 전면 앱·포인터가 바뀌지 않았는지 검사한다.

제작자 공개 글 (2026-10-06)

제작자 @sxhivs는 X에서 arc-driver를 “macOS용 가볍고 강력한 computer-use 드라이버”로 소개했다. 대부분의 작업에서 cua-driver보다 빠르고 일부 작업은 최대 8배 빠르며, 명령 한 줄로 코딩 에이전트에 붙는다고 했다.^[raw/articles/twitter-web-exporter/x-2107150075906691224.md] 이어진 답글에서는 Claude Code 안에서 모델과 프롬프트를 같게 두고 드라이버만 바꿔 비교했더니, 실제 Mac 작업을 cua-driver보다 약 1.7배 빨리 끝냈고 비용은 약 30% 저렴했다고 밝혔다.^[raw/articles/twitter-web-exporter/x-2107150077924094297.md] 두 수치 모두 제작자 측정이며 작업 목록과 반복 횟수는 공개되지 않았다.

위키 맥락

  • 같은 “백그라운드 macOS 드라이버” 계열로 2026-05-05-background-computer-use(Swift 런타임), 2026-05-06-trope-cua(영수증·trajectory), cua의 Cua Driver가 있다. arc-driver는 **행동 직전 구조 변화 검증(changed/stale)**과 settle 규약이 특징이다. 지형 전체는 computer-use-agent-landscape에서 본다.
  • arc-cua 루프는 jev를 “작고 빠른 결정 호출”에 쓴 구체 사례다. 프런티어 모델은 계획만 맡고 클릭은 작은 모델이 한다는 분업이며, moc-ai-agents-orchestration의 위임 구조와 맞닿는다.
  • 드라이버는 mcp 서버로 붙으므로 codex나 Claude Code에서 곧바로 쓸 수 있다.

한계

  • README·docs 기준이며 직접 설치해 돌려 보지는 않았다. 수치는 저자 측정(M 시리즈 Mac, 헤드리스 Chrome)이고 데스크톱 앱 작업의 성공률은 제시되지 않았다.
  • 결정 모델 기본값인 JEV는 TypeSafe API 키가 필요하다. 드라이버만 쓰면 무관하다.
  • 생성 약 2주의 초기 프로젝트(드라이버 0.1.x)다. 드라이버는 macOS 전용이고, Chrome 백엔드에서는 교차 출처 iframe·파일 업로드·드래그 앤 드롭·브라우저 UI를 다루지 못한다.