LLM Wiki

pi-computer-use: AI 에이전트가 데스크톱 앱을 보고 조작하는 컴퓨터 사용 플러그인

Properties2
descriptionPyTorchKR 9bow 게시글의 핵심 내용과 실무적 의미를 원문에 근거해 정리한다.
tagsai-models, open-source, research

5 min read

출처

개요

pi-computer-use는 AI 에이전트 런타임인 Pi가 macOS와 Windows의 데스크톱 애플리케이션을 화면 기반으로 관찰하고 조작할 수 있도록 하는 확장(extension)입니다. API나 MCP 서버가 없는 사내 전용 프로그램, 레거시 소프트웨어처럼 GUI만 제공하는 앱을 대상으로 합니다. 에이전트는 창과 브라우저 페이지를 찾고, UI 요소를 검색·검사한 뒤 클릭·입력·스크롤·대기 등의 동작을 수행할 수 있습니다. 동작은 관찰된 UI 상태와 stateId를 기반으로 실행되며, 상태가 오래되면 조작을 거부해 낡은 참조 사용을 줄입니다. 다만 안정적인 앱 API나 MCP 연동이 있다면 컴퓨터 유즈보다 직접 연동을 우선하는 것이 권장됩니다.

핵심 포인트

  • Pi 확장으로 macOS와 Windows 데스크톱 앱을 제어하며, macOS는 14 이상이 필요합니다.
  • find_roots → observe_ui → search_ui·expand_ui·inspect_ui → act_ui 순서의 관찰·행동 루프를 사용합니다.
  • observe_ui가 반환하는 불변 상태의 stateId와 요소 참조를 사용하므로, 화면 변경 후 오래된 상태로 실행하면 stale 상태로 거부됩니다.
  • act_ui는 여러 행동을 트랜잭션으로 실행할 수 있으며, expect 조건을 통해 작업 결과를 검증할 수 있습니다.
  • 결과 검증 상태는 verified, preexisting, failed로 구분되며, 사후 조건을 충족하지 못하면 postcondition_failed로 표시됩니다.
  • 브라우저 제어를 위해 launch_browser, navigate_browser, evaluate_browser 도구도 제공합니다.
  • 설치는 pi install npm:@injaneity/pi-computer-use로 진행하며, macOS에서는 헬퍼 앱에 접근성 및 화면 기록 권한을 부여해야 합니다.

왜 중요한가

컴퓨터 유즈는 API나 MCP가 제공되지 않는 데스크톱 애플리케이션을 에이전트 자동화 범위에 포함할 수 있게 합니다. 특히 화면을 직접 읽고 조작해야 하는 레거시·사내 전용 소프트웨어를 다룰 때 활용 가능성이 있습니다. 동시에 이 프로젝트는 좌표 기반의 무조건적인 클릭보다 UI 상태와 사후 조건을 사용해 동작을 검증하는 방식을 제시하지만, 직접적인 앱 연동보다 안정적이라고 일반화해서는 안 됩니다.

설치 및 권한

pi install npm:@injaneity/pi-computer-use

설치 후 Pi를 실행하고 플랫폼 설정을 완료합니다. macOS에서는 ~/Applications/pi-computer-use.app에 접근성(Accessibility)과 화면 기록(Screen Recording) 권한을 부여해야 하며, Pi에서 /computer-use를 실행하면 현재 활성 설정과 설정 출처를 확인할 수 있습니다. 프로젝트는 MIT 라이선스로 공개되어 있습니다.

후속으로 볼 링크 및 키워드

관련 위키

원문 보존 위치

원문 전체는 2026-07-25-pytorchkr-topic-11343-pi-computer-use-ai에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크