세탁기 옆에 깜빡이는 오류 코드, 검색창에 뭐라고 쳐야 할지 막막했던 적 있나요? “세탁기 E3″라고 쳐봐야 제조사도, 모델명도 모르면 검색 결과는 뒤죽박죽입니다.

구글이 최근 소개한 Gemini Live의 카메라 기능은 이 답답함 자체를 없애는 쪽으로 접근합니다. Gemini 앱에서 Live 아이콘을 누르고 카메라를 켜면, 눈앞의 물건을 그대로 비추면서 실시간으로 대화할 수 있습니다. 검색어를 고민하는 대신, 그냥 보여주면 되는 겁니다.

출처: Here’s how to ask Gemini Live for help with anything you see – Google Blog

텍스트 검색이 원래 못 하던 일

기존 검색은 언어로 시작합니다. 눈앞의 상황을 머릿속에서 먼저 단어로 바꾸고, 그 단어를 검색창에 넣어야 결과가 나오는 구조죠.

문제는 이 변환 과정에서 정보가 새어나간다는 겁니다. 오류 코드의 정확한 글자, 부품의 색깔과 모양, 배선이 꼬인 순서 같은 건 말로 옮기는 순간 부정확해지거나 아예 빠집니다. 세탁기 오류 코드처럼 제조사·모델명을 모르면 시작부터 막히는 경우도 흔하고요.

카메라를 든다는 건 이 변환 단계 자체를 건너뛴다는 뜻입니다. Gemini가 눈앞의 상태를 직접 보고 판단하니, 사용자가 상황을 언어로 정확히 옮길 필요가 없어지는 겁니다.

옷장을 열어놓고 그대로 물어본다

정리가 안 된 옷장을 붙잡고 “이 옷들 어떻게 정리하지”라고 검색해봐야 나오는 건 일반론뿐입니다. 내 옷장에 정확히 뭐가 몇 벌 있는지는 검색엔진이 알 수 없으니까요.

카메라를 옷장에 대고 물어보면 얘기가 달라집니다. 실제로 걸려 있는 옷의 개수, 색깔 조합, 계절별 비중을 Gemini가 직접 보고 분류나 처분 기준을 제안합니다. 온라인 쇼핑 중에도 마찬가지입니다. 화면을 공유하며 지금 담긴 옷과 이미 가진 옷이 어울리는지 물어보면, 일반적인 스타일 조언이 아니라 실제 내 옷장을 기준으로 한 답이 돌아옵니다.

삐걱거리는 소리는 녹음이 아니라 영상으로

의자가 삐걱거리거나 가전제품에서 이상한 소리가 날 때도 마찬가지입니다. “이상한 소리”라는 표현은 사람마다 상상하는 소리가 다르지만, 카메라로 그 순간을 직접 보여주면 오해의 여지가 없습니다.

작동하는 모습을 그대로 비추고 대화하면서 원인을 좁혀가는 방식이라, 텍스트로 증상을 설명하려다 포기하고 그냥 참고 쓰던 소소한 고장들도 다시 들여다볼 여지가 생깁니다.

결국 번역 과정을 없앤 것

이 기능이 하는 일을 한 문장으로 요약하면, 눈에 보이는 걸 말로 옮기는 번역 과정을 없앤 겁니다. 그 번역이 어려운 상황일수록, 즉 색깔이나 모양, 배치처럼 언어로 옮기기 번거로운 정보일수록 효과가 커집니다.

다음에 뭔가 설명하기 애매한 상황이 오면, 검색창에 단어를 고민하는 대신 카메라부터 켜보는 것도 방법입니다.

참고자료

• How to use Gemini Live with camera and screen sharing – Google Blog