“점심 뭐 먹지?” 이 질문을 AI에게 던졌더니 메뉴 추천에서 장바구니 담기까지 알아서 끝냈습니다. 앱을 열지도, 검색하지도 않았는데요.

AI 에이전트가 실제 앱을 대신 조작하는 기능이 잇따라 공개됐습니다. Block의 오픈소스 AI 에이전트 Goose는 채팅창 안에서 식당 검색부터 주문까지 처리하는 사례를 공개했고, Google Gemini는 Samsung Galaxy S26과 Pixel 10을 대상으로 Uber 호출, DoorDash·Grubhub 음식 주문 같은 멀티스텝 태스크 자동화 베타 기능을 발표했습니다. 두 사례 모두 핵심은 같습니다. 사람이 앱을 열고 버튼을 누르던 자리에, 이제 AI가 들어선다는 것입니다.

출처: Let Gemini handle your multi-step daily tasks on Android – Google Blog

• Gemini Can Now Book You an Uber or Order a DoorDash Meal on Your Phone – WIRED
• Order Lunch Without Leaving Your AI Agent – Goose Blog

채팅창을 벗어나지 않는 주문, Goose의 방식

Goose는 MCP(Model Context Protocol) 기반의 Neighborhood 확장을 통해 음식 주문 전 과정을 채팅창 안에 구현했습니다. 사용자가 위치와 식단 조건을 한 번 입력하면 — 예를 들어 “뉴욕 이 주소에 있고, 글루텐 프리 메뉴가 필요해” — Goose는 주변 식당을 카드 형태로 보여주고, 선택한 식당의 메뉴를 사진·가격과 함께 채팅창 안에 렌더링합니다. 원하는 메뉴를 말로 얘기하면 장바구니에 담기고, 결제 버튼을 누르는 것만 사용자 몫으로 남습니다.

단순히 텍스트로 메뉴 목록을 보여주는 수준이 아닙니다. 카테고리 탭을 누르거나 메뉴 사진을 스크롤하는 것까지 채팅창 안에서 가능한 인터랙티브 UI로 구현됐습니다. MCP가 텍스트 응답을 넘어 리치 UI까지 전달할 수 있다는 걸 보여준 사례입니다.

앱 화면을 직접 읽고 조작하는 Gemini

Gemini의 접근 방식은 좀 더 범용적입니다. Google은 서드파티 앱과의 연동을 세 가지 방식으로 설계했습니다. 앱이 MCP를 지원하면 백엔드에서 직접 처리하고, 개발자가 ‘App Functions’를 구현했다면 그 인터페이스를 통해 연동합니다. 둘 다 없을 경우엔 Gemini가 앱 화면을 직접 보면서 버튼과 메뉴를 탐색합니다.

실제 시연에서는 친구들과의 단체 대화방에서 피자 주문 내역을 파악한 뒤 Grubhub에서 그대로 장바구니를 채우거나, 바비큐 파티 초대 명단을 보고 인원수와 비건 여부를 계산한 뒤 DoorDash에서 필요한 식재료를 주문하는 흐름이 공개됐습니다. Gemini는 작업 중 판단이 필요한 상황 — 예를 들어 피자 크기 옵션이 애매할 때 — 에만 사용자에게 확인을 요청하고, 나머지는 알아서 처리합니다. 최종 결제 확인은 사용자가 직접 합니다.

Google은 Gemini가 앱의 UI 구조를 미리 외운 게 아니라 화면을 실시간으로 이해하며 조작한다고 설명합니다. 앱이 업데이트돼 UI가 바뀌어도 대응할 수 있다는 얘기입니다.

10년 전 Siri의 약속이 왜 지금은 달라졌나

사실 “AI가 앱을 대신 써준다”는 약속은 새롭지 않습니다. 2010년대 Siri와 Google Assistant도 같은 말을 했습니다. “Uber 불러줘”라고 했더니 앱만 열어주던 그 경험을 기억하시나요. 당시엔 음성 명령을 규칙 기반으로 파싱했기 때문에 조금만 말이 달라져도 실패했습니다.

지금의 차이는 언어 이해 능력입니다. Gemini는 “친구들이 나눈 대화에서 주문할 피자를 파악해”처럼 맥락이 필요한 요청도 처리합니다. Goose는 “운동 전이라 가벼운 게 좋겠어”라는 조건까지 반영해 메뉴를 고릅니다. 고정된 명령어 대신 상황을 이해하고 판단하는 것, 이 차이가 10년 만에 같은 약속을 다르게 만듭니다.

Gemini 기능은 현재 미국·한국에서 Galaxy S26 출시(3월 11일)와 함께 베타로 시작되며, Pixel 10에는 소프트웨어 업데이트로 제공될 예정입니다. 각 사례의 구체적인 작동 화면은 원문에서 확인하실 수 있습니다.

참고자료: Neighborhood extension docs – Goose