LLM Wiki

macOS CUA (Computer Use Agent) Repos Comparison

Properties2
descriptionCUA(Computer Use Agent)는 AI가 인간처럼 컴퓨터를 제어하는 기술.
tagsai-agents, computer-use, macos, automation, background-agent, mcp, open-source

4 min read

OpenAI Codex Computer Use, Anthropic Claude Computer Use의 macOS 오픈소스 대안들 비교

개요

CUA(Computer Use Agent)는 AI가 인간처럼 컴퓨터를 제어하는 기술. 전통적인 방식은 화면 전체를 점거하지만, 최신 접근법은 백그라운드-first로 사용자 작업 방해 없이 병행 수행.

주요 Repo 비교

RepoStars언어핵심 특징License
Coasty-AI/open-computer-use533TypeScript/PythonOSWorld 82% verified, 멀티에이전트 (Browser/Terminal/Desktop/Planner), Docker VM 격리Apache 2.0
iFurySt/open-codex-computer-use60SwiftOpenAI Codex Computer Use의 macOS 대안, MCP 프로토콜로 어떤 AI 클라이언트든 연결, Claude Code / Codex 연동 가능MIT
actuallyepic/background-computer-use216SwiftBackground-first macOS computer-use 런타임, loopback HTTP API + 직접 Swift API, 앱 서명/권한 기반 실행MIT
hyprcat/mac-cua6PythonBackground-first, CGEventPostToPid로 백그라운드 입력, 화면 점거 없음, ScreenCaptureKit截图Apache 2.0

Coasty-AI/open-computer-use (533★)

  • 특징: OSWorld 벤치마크 82% 달성. 완전한 SaaS 플랫폼
  • 에이전트: Browser / Terminal / Desktop / Planner (4종)
  • 아키텍처: Next.js 15 Frontend + FastAPI Backend + Docker VM (XFCE)
  • 사용 사례: Marketing, Go-to-Market, QA Testing, Job Application, Form Filling
  • 단점: self-hosted에는 Supabase + Docker + API keys 필요, 무겁다

iFurySt/open-codex-computer-use (60★)

  • 특징: OpenAI Codex Computer Use 영감을 받은 macOS 전용 MCP 서버
  • 핵심 차별점: Swift로 작성, open-computer-use CLI로 전역 설치, Claude Code / Codex에 MCP로 바로 연결
  • 설치: 
    npm i -g open-computer-use
open-computer-use install-claude-mcp  # Claude Code에 자동 설정
open-computer-use install-codex-mcp    # Codex에 자동 설정
  • 권한: macOS Accessibility + Screen Recording 필요
  • 장점: 가볍고 CLI-centric, 맥 환경에 최적화

actuallyepic/background-computer-use (216★)

  • 특징: macOS 전용 로컬 computer-use 런타임. 사용자 포인터를 빼앗지 않는 방향을 명시적으로 강조한다.
  • 핵심: loopback HTTP API + 직접 Swift API를 모두 제공하고, 윈도우 상태/AX tree/스크린샷을 함께 사용해 액션을 수행한다.
  • 운영: ./script/start.sh가 빌드·서명·설치·런타임 부트스트랩까지 처리하며, 실제 접속 주소는 $TMPDIR/background-computer-use/runtime-manifest.json에서 읽는다.
  • 의의: MCP 연동형(iFurySt)과 달리, 앱 번들/HTTP 런타임/직접 API를 함께 둔 “로컬 제어면”에 가깝다.

hyprcat/mac-cua (6★)

  • 특징: “화면을 빼앗지 않는 CUA” — 가장 혁신적인 UX 접근법
  • 핵심: CGEventPostToPid로 특정 PID에 직접 이벤트 전달, 커서/포커스 안 움직임
  • 비교:
    • 전통 CUA: 화면 잠금, 커서 하이장, 사용자 관전
    • mac-cua: 백그라운드 클릭/타이핑, 사용자 동시에 작업 가능
  • API: ScreenCaptureKit (GPU 가속截图), AX tree reads (비침습적)
  • 제한: 앱 런칭 시 잠깐 포커스 플래시 발생 가능

맥 사용자 관점 정리

사용 목적추천 Repo
맥에서 경량 CLI + Claude Code 연동iFurySt/open-codex-computer-use
맥에서 백그라운드-first HTTP/Swift 런타임actuallyepic/background-computer-use
맥에서 백그라운드 오토메이션 (화면 안 빼앗김)hyprcat/mac-cua
서버/VM 기반 완전한 Computer Use 플랫폼Coasty-AI/open-computer-use
맥 자동화 + Claude Code 통합 + 빠른 시작iFurySt + hyprcat 조합

Sources

백링크