캘린더를 연결하면 지난 1년의 모든 일정을, 드라이브를 연결하면 모든 문서를 안다고 느낍니다. 하지만 Claude가 실제로 읽는 건 그중 극히 일부입니다.
생산성 컨설턴트 티아고 포르테가 캘린더, Gmail, 구글 드라이브 등 여러 커넥터를 Claude에 직접 연결해 몇 주간 써본 경험을 정리했습니다. 그 과정에서 발견한 건 커넥터가 연결된 데이터를 전부 읽는 게 아니라, 그중 극히 일부만 골라 읽는다는 사실이었습니다.
출처: The Ultimate Guide to Claude Connectors – Forte Labs
커넥터를 연결해도 대부분은 안 읽힌다
포르테가 Claude에게 이메일 전체를 분석해달라고 요청했을 때 돌아온 답은 이랬습니다. Gmail 커넥터의 검색 도구는 제목, 발신자, 수신자, 라벨, 그리고 짧은 스니펫만 반환할 뿐, 본문 전체는 가져오지 않는다는 겁니다. 구글 드라이브도 비슷했습니다. 최근에 손대지 않은 파일은 검색 결과에서 사실상 보이지 않았고, 샘플링되는 문서는 전체의 1~10% 수준에 그쳤습니다. 애플 메시지 커넥터는 아예 스레드를 가로질러 검색하는 기능 자체가 없어서, 특정 연락처를 하나씩 지정해야만 그 사람과의 대화를 들여다볼 수 있었습니다.
이런 제약은 우연이 아니라 구조적인 문제에 가깝습니다. LLM은 사람의 작업 기억처럼 한 번에 다룰 수 있는 정보량에 한계가 있고, 연결된 데이터가 많아질수록 그중 실제로 훑어볼 수 있는 비율은 오히려 줄어듭니다. 포르테는 여러 커넥터를 테스트하며 이 비율이 대략 전체의 0.5~5% 사이였다고 밝혔습니다.
5%만 보고도 확신에 찬 답을 내놓는다는 것
문제는 샘플링 자체가 아니라, 그 사실이 겉으로 드러나지 않는다는 데 있습니다. 커넥터를 연결하면 마치 내 데이터 전체에 접근권을 준 것처럼 느껴지지만, AI가 실제로 결론을 내릴 때 참고한 건 그중 일부일 뿐입니다. 노트 중 5%만 검토한 조수가 자신 있게 결론을 보고한다면, 그 결론을 그대로 믿을 사람은 많지 않을 겁니다. AI도 다르지 않습니다. 읽지 않은 데이터에서 없는 근거를 만들어내지는 못하지만, 질문을 밀어붙이면 그럴듯하게 들리는 답을 지어내기 시작합니다.
포르테는 이 문제를 완전히 없앨 수는 없어도, 다음과 같은 방식으로 완화할 수 있다고 말합니다.
- 검색을 시작하기 전에 어떤 순서로 찾아볼지 계획을 먼저 물어보고 승인한다
- 내부 문서를 인용할 때도 링크나 출처를 함께 요구한다
- 결론을 내리기 전에 무엇을 검색했고 무엇을 찾았는지 먼저 나열하게 한다
- 검색 과정에서 발견한 공백이나 모순을 그대로 보고하게 한다
- 열린 질문 대신 구체적인 단어, 조건, 범위를 지정해 검색을 좁힌다
커넥터를 늘린다고 통찰이 비례해 늘지는 않았다
포르테는 이번 실험에서 캘린더, 이메일, 노션, 재무 관리 도구 등 자신이 쓰는 거의 모든 서비스에 커넥터를 연결하고, 이를 조합한 자동화 시스템 여러 개를 만들어봤습니다. 매출 데이터를 뉴스레터 발송 기록과 교차 분석하거나, 회의 전마다 관련 맥락을 정리해 아침에 보내주는 브리핑 같은 것들이었습니다. 겉보기엔 그럴듯했지만 몇 주 지켜본 결과 대부분은 이미 알고 있던 내용을 재확인하는 수준에 그쳤고, 실제 판단이나 행동을 바꾼 경우는 드물었습니다. 커넥터 하나로 얻은 통찰은 뚜렷했던 반면, 여러 개를 엮을수록 오히려 결과물은 흐릿해진 셈입니다.
접근권과 판단은 다른 문제다
커넥터는 Claude에게 데이터로 가는 문을 열어주는 도구일 뿐, 그 데이터를 어떻게 읽고 무엇을 놓쳤는지 가늠하는 몫은 여전히 사람에게 남아 있습니다. 연결된 서비스가 늘어날수록 이 감각은 오히려 무뎌지기 쉽습니다. 접근할 수 있는 데이터의 양과, 실제로 신뢰할 수 있는 결론의 양은 같은 속도로 늘어나지 않으니까요.
답글 남기기