AI 어시스턴트는 연동된 앱을 통해 작업을 처리하는 것이 당연했습니다. 연동이 없으면 그냥 못 하는 거였죠. 이제 Claude는 그 상황에서 화면을 보고, 직접 클릭합니다.
Anthropic이 Claude Cowork와 Claude Code에 컴퓨터 직접 제어 기능을 추가했습니다. Claude가 마우스, 키보드, 화면을 직접 조작해 작업을 수행하는 기능으로, 현재 Pro·Max 구독자를 대상으로 macOS에서 리서치 프리뷰로 제공됩니다.
출처: Put Claude to work on your computer – Anthropic
커넥터 먼저, 없으면 화면 직접
Claude의 컴퓨터 제어는 ‘최후 수단’ 방식으로 설계됐습니다. 작업을 받으면 먼저 Slack, Google Calendar 같은 기존 커넥터를 사용하려 하고, 해당 서비스와의 연동이 없을 때만 화면을 직접 제어하는 방식으로 작동합니다.
작동 순서는 다음과 같습니다.
- 사용자가 작업을 지시
- Claude가 사용 가능한 커넥터 확인
- 커넥터가 없으면 화면 분석 후 직접 조작 (스크롤, 클릭, 탐색)
- 새 앱에 접근하기 전 반드시 사용자 허가 요청
- 사용자는 언제든 중단 가능
별도 설정이 필요 없고, 데스크탑 앱 설정에서 기능을 활성화하면 바로 쓸 수 있습니다.
Dispatch와 합쳐지면: 폰에서 지시, 데스크탑에서 실행
함께 출시된 Dispatch 기능과 조합하면 활용도가 달라집니다. Dispatch는 폰이나 다른 기기에서 Claude에게 작업을 지시하고, 완성된 결과를 나중에 데스크탑에서 확인할 수 있는 기능입니다.
예를 들어 출근길 지하철에서 폰으로 “오늘 아침 브리핑 만들어줘”라고 지시하면, Claude가 데스크탑에서 필요한 앱을 열고 정보를 수집해 작업을 완료해 놓습니다. IDE에서 코드를 수정하고 테스트를 돌려 PR을 올리는 것도 가능합니다.
아직 리서치 프리뷰, 회의론도 있다
Anthropic도 공식적으로 “복잡한 작업은 재시도가 필요할 수 있고, 직접 연동보다 느리다”고 인정합니다. 현재는 macOS 전용이며, 민감한 데이터를 다루는 일부 앱은 기본적으로 접근이 제한됩니다.
이 기능의 기반은 Anthropic이 인수한 AI 컴퓨터 제어 스타트업 Vercept AI의 기술입니다. 인수 후 4주 만에 첫 제품이 나왔을 정도로 빠르게 통합됐습니다.
회의론도 존재합니다. OpenAI가 브라우저 제어만으로 시도한 ChatGPT Operator는 사용자의 75%를 잃었다는 보고가 있습니다. 브라우저 수준도 어려웠는데, 전체 데스크탑 제어는 더 큰 보안 노출면을 갖습니다. 프롬프트 인젝션 방어를 위해 모델 내부 활성화를 자동 스캔하는 안전장치를 넣었지만, Cowork 출시 직후 파일 탈취 시도가 보고된 사례도 있었습니다.
컴퓨터 유즈(Computer Use)가 리서치 프리뷰를 넘어 일반화되려면 신뢰성과 보안 두 가지를 모두 증명해야 합니다. 이 기술이 어디서 작동하고 어디서 실패하는지 Anthropic이 직접 배우기 위해 일찍 공개했다고 밝힌 만큼, 앞으로의 개선 방향이 주목됩니다.
참고자료: Anthropic lets Claude take control of your desktop when regular app integrations fall short – The Decoder
답글 남기기