pi-computer-use는 Pi 에이전트가 데스크톱 앱 화면을 보고 클릭, 입력, 스크롤 같은 동작을 수행하게 하는 확장이다. API, CLI, MCP 서버가 없는 앱을 에이전트가 실제 사용자 인터페이스로 다뤄야 할 때 쓰는 computer use 레이어다.
제공 도구
| 도구 | 역할 |
|---|---|
find_roots | 열린 앱과 창 찾기 |
observe_ui | 현재 창의 보이는 UI 관찰 |
search_ui | 텍스트, 버튼, 컨트롤 검색 |
expand_ui | 특정 영역을 더 자세히 펼쳐 보기 |
inspect_ui | 선택한 UI 요소 검사 |
act_ui | 클릭, 입력, 스크롤, 키 입력 실행 |
read_text | 화면 텍스트 읽기 |
wait_for | UI 상태 변화 대기 |
설치
pi install npm:@injaneity/pi-computer-usemacOS는 macOS 14 이상이 필요하고, 사용자별 helper 앱에 Accessibility와 Screen Recording 권한을 부여해야 한다. Windows는 대화형 데스크톱 세션에서 플랫폼 접근성 API를 사용한다.
설계 특징
README는 이 확장이 immutable, state-scoped observation 중심으로 설계됐다고 설명한다. 에이전트는 매 단계에서 관찰 상태를 만들고, act_ui가 의도 step을 실행한 뒤 successor state와 compact diff를 반환한다. 이는 “스크린샷 보고 좌표 클릭”보다 재현성과 복구 가능성을 높이려는 방향이다.
언제 쓰면 좋은가
- 내부 업무 앱, 레거시 데스크톱 앱, 회계·문서·디자인 도구처럼 API가 없거나 불충분하다.
- browser-use나 Playwright로는 처리할 수 없는 네이티브 앱 작업이 있다.
- 사람의 로그인 세션과 로컬 파일 접근이 필요한 반복 작업을 에이전트에 맡기고 싶다.
주의할 점
computer use는 최후의 통합 수단에 가깝다. 앱이 안정적인 API나 MCP 서버를 제공한다면 그것을 먼저 써야 한다. 화면 조작은 레이아웃 변경, 권한 팝업, 포커스 이동, OS 접근성 정책에 영향을 받기 때문에, 민감한 작업에는 사람 승인과 실행 로그가 필요하다.
관련 문서
- large-action-models — 행동 실행에 특화된 LAM과 에이전틱 LLM의 차이
- claude-computer-use-tips-best-practices — computer/browser use 통합 안정화 베스트 프랙티스
- browser-use — 웹사이트 조작을 위한 브라우저 자동화 프레임워크
- agent-macos — macOS AI 에이전트 앱
참고 자료
- injaneity/pi-computer-use — GitHub 공식 저장소