AI에게 무언가를 부탁하려면, 먼저 상황을 설명해야 합니다. “이 표에서 3번째 열만 골라서 파이 차트로 만들어줘”처럼요. 하지만 내가 이미 그 표를 보고 있는데, AI도 그냥 같이 볼 수는 없을까요?

구글 DeepMind가 “AI Pointer”라는 실험적 인터페이스를 공개했습니다. 마우스 커서가 가리키는 대상을 AI가 직접 파악하고, 사용자는 짧은 자연어 명령만 던지면 되는 방식입니다. Gemini를 기반으로 하며, Chrome과 새로 발표한 Googlebook 노트북에 우선 적용됩니다.

출처: Shaping the future of AI interaction by reimagining the mouse pointer – Google DeepMind

AI와 협업할 때 생기는 마찰

지금까지 AI 도구의 가장 큰 불편함 중 하나는 “AI 우회로(AI detour)”였습니다. 현재 작업하던 앱을 벗어나 AI 창을 따로 열고, 상황을 텍스트로 설명하고, 결과를 다시 원래 작업 공간으로 가져와야 했죠. 사용자가 AI에게 맞춰야 하는 구조입니다.

DeepMind가 풀고자 한 문제는 바로 이겁니다. AI가 사용자의 작업 흐름 속에 자연스럽게 녹아들도록, 사용자가 별도의 컨텍스트 설명 없이 AI를 호출할 수 있도록 만드는 것.

포인터가 맥락을 대신 전달한다

AI Pointer의 핵심은 마우스 커서 주변의 시각적·의미적 맥락을 AI가 실시간으로 파악한다는 점입니다. 사용자가 표 위에 커서를 올리고 “파이 차트로 만들어줘”라고 말하면, AI는 어떤 표인지, 어떤 데이터인지를 직접 읽어냅니다. 따로 설명할 필요가 없습니다.

DeepMind는 이 인터페이스를 설계하면서 네 가지 원칙을 세웠습니다.

1. 흐름을 끊지 않는다: AI를 쓰기 위해 현재 앱을 떠날 필요 없이, 작업 중인 화면 어디서든 호출 가능
2. 보여주고 말한다: 커서가 어느 단어, 문단, 이미지, 코드 블록을 가리키는지 AI가 자동으로 인식
3. “This”와 “That”을 이해한다: “이거 고쳐줘”, “저기로 옮겨줘”처럼 일상적인 표현 + 손짓의 조합으로 복잡한 요청 처리
4. 픽셀을 실체로 바꾼다: 단순히 좌표를 추적하던 커서가 이제 “장소”, “날짜”, “사물” 같은 구조화된 개체를 인식. 여행 영상의 한 장면을 가리키면 해당 레스토랑 예약 링크로 연결되는 식입니다.

지금 당장 써볼 수 있다

발표와 함께 Google AI Studio에 두 가지 데모가 공개됐습니다. 포인터로 가리켜 이미지를 편집하거나, 지도에서 장소를 찾는 실험 환경입니다. Chrome에서는 이미 적용이 시작됐고, 웹페이지의 특정 부분을 선택해 Gemini에게 바로 질문할 수 있습니다. Googlebook에서는 “Magic Pointer”라는 이름으로 곧 출시 예정입니다.

인터페이스 레이어의 변화

AI 성능 경쟁이 치열한 가운데, DeepMind의 이번 시도는 모델 자체보다 “어떻게 쓰는가”에 초점을 맞췄다는 점에서 다릅니다. 더 정교한 프롬프트를 만드는 대신, 프롬프트가 필요 없는 구조를 만드는 방향입니다.

마우스는 50년 넘게 거의 바뀌지 않았습니다. AI Pointer는 그 오랜 관성에 대한 첫 번째 진지한 질문입니다.