ChatGPT에게 긴 대화를 나누다 보면 5분 전에 했던 말을 까먹는 경험, 다들 있으시죠? AI 에이전트의 가장 큰 약점은 바로 ‘기억력’입니다. 대화가 길어지면 맥락을 잃고, 같은 질문을 반복하며, 사용자가 이미 제공한 정보를 다시 물어봅니다.
이 문제를 해결하기 위해 GitHub는 Copilot에 ‘에이전틱 메모리 시스템’을 구축했고, AI 메모리 스타트업 Supermemory는 직접 메모리 시스템을 만들어야 하는지에 대한 실무 가이드를 공개했습니다. GitHub의 구현 사례와 Supermemory의 의사결정 기준을 함께 살펴봅니다.
출처:
- Building an Agentic Memory System for GitHub Copilot – GitHub Blog
- Should You Build Your Own AI Memory System? – Supermemory Blog
AI가 왜 까먹을까? 메모리 시스템의 필요성
현재 대부분의 AI 에이전트는 대화가 끝나면 모든 걸 잊어버립니다. 새 세션을 시작하면 “처음 뵙겠습니다” 상태로 돌아가죠. 이는 LLM의 구조적 한계 때문입니다.
GitHub는 이 문제를 해결하기 위해 세 가지 핵심 기능을 가진 메모리 시스템을 설계했습니다:
1. 지속적 컨텍스트 유지
사용자가 “내 프로젝트에서…”라고 말하면 어떤 프로젝트인지 기억합니다. 매번 “무슨 프로젝트요?”라고 되묻지 않죠.
2. 개인화된 경험
개발자가 선호하는 코딩 스타일, 자주 사용하는 라이브러리, 과거 대화 내용을 기억해서 더 정확한 답변을 제공합니다.
3. 적응적 학습
사용자와의 상호작용을 통해 점점 더 나은 응답을 하도록 개선됩니다.
GitHub는 어떻게 만들었나? 구현의 핵심
GitHub의 메모리 시스템은 크게 세 가지 레이어로 구성됩니다:
메모리 수집 레이어
대화에서 중요한 정보를 자동으로 추출합니다. “Python으로 작업 중이에요”라는 말에서 ‘사용 언어: Python’을 기억하고, “테스트 코드는 Jest로 써요”에서 ‘선호 테스트 프레임워크: Jest’를 저장하죠.
메모리 저장 레이어
PostgreSQL 데이터베이스에 구조화된 형태로 저장합니다. 단순히 대화 로그를 쌓는 게 아니라 “사용자 선호도”, “프로젝트 컨텍스트”, “과거 해결 방법” 같은 카테고리로 분류해서 보관합니다.
메모리 검색 레이어
새로운 질문이 들어오면 관련된 과거 정보를 빠르게 찾아냅니다. 벡터 검색과 키워드 검색을 결합해서 정확도를 높였습니다. 예를 들어 “React 컴포넌트 리팩토링 도와줘”라는 요청이 들어오면, 이 사용자가 과거에 함수형 컴포넌트를 선호했다는 기록을 찾아서 그에 맞는 제안을 합니다.
가장 흥미로운 점은 메모리의 우선순위입니다. 모든 정보를 다 기억할 수는 없으니까요. GitHub는 다음 기준으로 중요도를 판단합니다:
- 최근성: 어제 대화가 한 달 전 대화보다 중요
- 빈도: 자주 언급되는 정보가 중요
- 명시성: 사용자가 “이거 기억해줘”라고 명시한 정보는 최우선
직접 만들 것인가, 기존 솔루션을 쓸 것인가?
Supermemory는 AI 제품을 만드는 개발자들이 가장 고민하는 질문에 답을 제시합니다: “메모리 시스템을 직접 구축해야 할까?”
직접 만들어야 하는 경우:
- 특수한 비즈니스 요구사항이 있을 때
금융, 의료, 법률처럼 도메인 특화 메모리가 필요하거나, 복잡한 규정 준수 요구사항이 있다면 직접 만드는 게 낫습니다. - 차별화가 핵심일 때
메모리 기능 자체가 제품의 핵심 경쟁력이라면 투자할 가치가 있습니다. GitHub Copilot의 경우가 이에 해당하죠. - 완전한 통제가 필요할 때
데이터 프라이버시가 극도로 중요하거나, 기존 시스템과 깊은 통합이 필요하다면 자체 구축이 답입니다.
기존 솔루션을 쓰는 게 나은 경우:
- 빠른 MVP가 필요할 때
시장 검증이 우선이라면 Mem0, Zep 같은 오픈소스 메모리 시스템을 활용하는 게 현명합니다. 몇 주 걸릴 개발을 며칠로 단축할 수 있죠. - 리소스가 제한적일 때
메모리 시스템 구축과 운영에는 상당한 엔지니어링 리소스가 필요합니다. 스타트업이라면 핵심 기능 개발에 집중하는 게 맞습니다. - 표준 사용 사례일 때
채팅봇이나 개인 비서처럼 일반적인 사용 사례라면 검증된 솔루션으로 충분합니다.
Supermemory는 “대부분의 경우 기존 솔루션으로 시작해서, 정말 필요할 때만 자체 구축하라”고 조언합니다. 실제로 많은 기업들이 Mem0나 LangChain 메모리 모듈로 시작해서, 사용자가 늘고 요구사항이 명확해진 후에 커스텀 솔루션으로 전환하는 경로를 밟습니다.
AI 제품의 새로운 차별화 포인트
메모리 시스템은 단순한 기술적 개선이 아닙니다. AI 제품의 사용자 경험을 근본적으로 바꾸는 요소죠.
“내 상황을 이해하는” AI와 “매번 설명해야 하는” AI의 차이는 엄청납니다. GitHub Copilot이 개발자의 코딩 스타일을 기억해서 맞춤형 제안을 하는 것처럼, 메모리는 AI를 ‘도구’에서 ‘협업 파트너’로 격상시킵니다.
다만 한계도 분명합니다. 잘못된 정보를 기억하면 오히려 해가 되고, 오래된 선호도가 사용자의 현재 니즈와 맞지 않을 수도 있습니다. GitHub는 이를 위해 사용자가 메모리를 직접 수정하고 삭제할 수 있는 기능을 제공합니다.
앞으로 AI 에이전트의 경쟁은 “얼마나 똑똑한가”보다 “얼마나 나를 잘 아는가”로 옮겨갈 겁니다. 메모리 시스템은 그 경쟁의 핵심 무기가 될 것입니다.
답글 남기기