computer-use AI agent는 API가 아니라 화면, 접근성 정보, 브라우저 DOM, 키보드·마우스 입력으로 소프트웨어를 조작하는 에이전트다. 2026년에는 브라우저 전용 프레임워크, 데스크톱 agent, 모바일 GUI agent, 상용 work agent가 갈라져 있어 “무엇을 자동화할 것인가”에 따라 선택 기준이 달라진다.
browser agent와 computer-use agent의 차이
browser agent는 웹페이지 안에서 탐색, 클릭, 입력, 추출을 수행한다. Playwright나 CDP를 기반으로 DOM과 브라우저 상태를 읽을 수 있어 비교적 관찰성이 좋다.
computer-use agent는 더 넓다. 브라우저뿐 아니라 데스크톱 앱, 파일 관리자, 터미널, 모바일 앱, TV 앱까지 조작할 수 있다. 대신 화면 변화, OS 권한, 접근성 품질, 좌표 스케일링, 포커스 이동 같은 문제가 많아진다.
| 범주 | 장점 | 한계 |
|---|---|---|
| Browser agent | DOM·selector 활용, 웹 자동화에 강함 | 네이티브 앱·로컬 파일 워크플로에는 부족 |
| Desktop computer-use | 여러 앱과 OS 작업을 넘나듦 | 보안·권한·재현성 설계가 어렵다 |
| Mobile GUI agent | 실제 모바일 UX 검증 가능 | 디바이스 세팅, 접근성 label, 증거 저장이 중요 |
| 상용 work agent | 통합 경험과 장시간 작업 위임 | 제품별 접근 권한·데이터 경계 확인 필요 |
오픈소스 도구 지도
| 도구 | 주 환경 | 적합한 케이스 |
|---|---|---|
| browser-use | 브라우저 | 웹 앱 조작, 폼 작성, 리서치 자동화 |
| Stagehand | 브라우저 | 자연어와 코드 기반 브라우저 자동화 혼합 |
| Skyvern | 브라우저 | 낯선 사이트의 폼·파일·추출 workflow |
| UI-TARS | 데스크톱·브라우저 | 멀티모달 GUI 조작 모델·앱 실험 |
| CUA | macOS·Windows·Linux·Android sandbox | computer-use agent 개발·평가 스택 |
| OpenAdapt | 데스크톱 | 사람이 시연한 워크플로의 안정적 재현 |
| Agent S3 | Windows·macOS·Linux | 멀티스텝 데스크톱 작업 연구·자동화 |
| AgentCPM-GUI | Android | 온디바이스 모바일 GUI agent 모델 |
| agent-device | iOS·Android·TV·web·desktop | 코딩 에이전트가 앱 변경을 직접 검증 |
목록형 글을 그대로 따라가기보다 환경을 먼저 고르는 것이 낫다. 웹만 다루면 브라우저 agent가 가장 단순하고, 앱 검증이면 agent-device처럼 evidence와 replay를 남기는 도구가 필요하다. 여러 데스크톱 앱을 오가는 일반 업무 자동화는 권한·로그·승인 설계가 우선이다.
선택 기준
1. 구조화된 관찰을 먼저 확인한다
스크린샷만 주는 도구보다 DOM, 접근성 tree, selector, ref, diff를 제공하는 도구가 안정적이다. 모델이 “화면을 본다”는 말보다 “다음 행동을 재현 가능하게 고를 수 있는 상태 표현이 있는가”가 중요하다.
2. 결정론적 자동화와 섞을 수 있어야 한다
모든 단계를 LLM에게 맡기면 비용과 실패율이 올라간다. 로그인, 파일 다운로드, 정형 입력, 검증 assertion은 Playwright, Maestro, .ad replay script 같은 결정론적 레이어로 고정하고, 애매한 탐색이나 예외 처리만 에이전트에게 맡기는 편이 현실적이다.
3. 위험 액션을 별도로 다룬다
computer use agent는 사용자의 실제 로그인 세션과 파일에 접근할 수 있다. 결제, 삭제, 외부 전송, 권한 변경, 대량 다운로드는 별도 사용자 승인과 allowlist가 필요하다. claude-computer-use-tips-best-practices에서 다루는 prompt injection 방어와 trajectory logging도 함께 설계해야 한다.
4. evidence를 산출물로 본다
앱 검증용 에이전트라면 “성공했다”는 자연어보다 screenshot, video, log, trace, coverage, replay script가 중요하다. PR 리뷰나 QA workflow에서는 사람이 나중에 확인할 수 있는 artifact가 있어야 한다.
실전 추천
- 웹 폼·웹 리서치 자동화: browser-use, Stagehand, Skyvern
- 모바일 앱 변경 검증: agent-device
- macOS·Windows 앱 조작: pi-computer-use, CUA, OpenAdapt
- Claude 기반 UI 조작 제품화: claude-computer-use-tips-best-practices를 먼저 읽고 해상도·좌표·주입 방어를 설계
- 일반 업무 위임형 상용 도구 비교: ChatGPT Work, Claude Cowork, Gemini in Chrome, Perplexity Personal Computer 같은 제품의 데이터 접근 경계를 먼저 확인
참고 자료
- Computer-Use AI Agents: The Best Open-Source & Closed-Source Tools in 2026 — Turing Post (2026-08-02)