개발이라고 하면 키보드 위의 손가락이 먼저 떠오릅니다. 그런데 여기, 키보드를 거의 건드리지 않고 개발 환경을 굴리는 사람이 있습니다. 팟캐스트 호스팅 플랫폼 Castos의 창업자 크레이그 휴잇이죠.

O’Reilly의 시리즈 ‘Zero to Agent in 30 Minutes’ 한 편에서, 그는 Codex 앱의 음성 모드로 브라우저와 여러 앱을 목소리만으로 조작하는 모습을 시연했습니다. 음성 모드가 대체 무엇이고, 받아쓰기 도구와는 어떻게 다른지를 함께 보여줍니다.

출처: Zero to Agent in 30 Minutes: Never Type Again with Craig Hewitt – O’Reilly

받아쓰기가 아니다

가장 먼저 짚을 건 이게 음성 받아쓰기(dictation)가 아니라는 점입니다. 받아쓰기는 내 말을 글자로 옮겨줄 뿐이죠. 음성 모드는 대화하듯 지시를 내리면 에이전트가 그걸 행동으로 옮깁니다.

차이는 작아 보여도 결과가 큽니다. 받아쓰기를 쓰려면 여전히 내가 어디에 무엇을 입력할지 알고, 그 입력을 직접 해야 하죠. 음성 모드에서는 “무엇을 해달라”만 말하면 그 사이 과정을 에이전트가 메웁니다. 말과 실행 사이의 거리가 사라지는 셈입니다.

한 가지 편의도 있습니다. 음성 인터페이스가 앱 사이를 오가는 동안에도 계속 살아 있다는 것. 무언가 시킬 때마다 채팅창으로 되돌아올 필요 없이, 컴퓨터 전체에 걸쳐 작업을 지휘할 수 있습니다.

브라우저를 넘어 컴퓨터 전체로

시연에서 휴잇은 에이전트에게 웹사이트를 열고, 정보를 검색하고, 페이지를 넘기게 했습니다. 이미 맥락을 아는 경우엔 양식 작성 같은 반복 작업도 브라우저 제어로 맡겼죠.

컴퓨터 제어 기능은 작업을 브라우저 밖으로 넓힙니다. 에이전트가 코드 편집기 Cursor를 열고, 특정 저장소를 찾아, 커밋되지 않은 변경사항을 보고한 뒤, 허락을 받고 그 변경을 커밋하는 데까지 나아간 겁니다. 화면의 특정 부분을 골라 대화에 그대로 붙여 넣어, 고치고 싶은 인터페이스 조각을 에이전트에게 맥락으로 넘기는 방식도 보여줍니다.

눈여겨볼 건 이게 한 번의 명령이 아니라 여러 단계를 이어서 해낸다는 점입니다. 저장소를 찾고, 상태를 확인하고, 보고하고, 승인을 기다렸다 실행하는 흐름을 목소리 하나로 끌고 간 겁니다. 개발자가 아니어도 반복적인 화면 조작이 많은 일이라면 응용 각도가 보입니다.

편할수록 권한이 무섭다

여기서 자연스럽게 위험이 따라옵니다. 브라우저와 컴퓨터를 제어한다는 건, 의도치 않은 동작이나 웹 콘텐츠에서 들어오는 프롬프트 인젝션 같은 실제 위험을 연다는 뜻이죠.

휴잇의 대응은 권한을 좁게 쥐는 것이었습니다. 대부분의 앱과 사이트에는 접근 전 승인을 요구하고, 신뢰하는 일부 도구와 로컬 개발 사이트에만 넓은 접근을 허용하며, 믿지 못할 사이트는 피합니다. 에이전트가 나를 대신해 행동할 수 있게 된 순간, “무엇까지 넘겨도 편한가”를 스스로 정해야 한다는 것. 그가 권한 설정과 신뢰 사이트 목록, 사람 검토를 함께 쓴 이유입니다.