GateMem – 공유 메모리 에이전트의 기억 거버넌스를 평가하는 벤치마크

GateMem은 메모리 증강 LLM 에이전트가 “잘 기억하는가”를 넘어, 여러 principal이 함께 쓰는 공유 메모리에서 권한과 삭제 요청을 올바르게 지키는지 평가하는 벤치마크다.

평가 축

축	질문
Utility	권한이 있는 요청에는 필요한 정보를 정확히 답하는가
Access Control	권한이 없거나 범위를 벗어난 요청에는 보호 정보를 누출하지 않는가
Active Forgetting	삭제 요청 이후 정보를 복구하거나 확인해주지 않는가

이 셋은 서로 충돌한다. 너무 보수적으로 만들면 유용성이 떨어지고, 너무 잘 기억하게 만들면 접근 제어와 삭제가 깨진다.

개인 비서의 메모리는 개인 캐시처럼 보일 수 있지만, 실제 조직 에이전트는 고객, 팀원, 부서, 프로젝트가 섞인 공유 메모리를 다룬다. 이 환경에서는 “누가 말했는가”, “누가 볼 수 있는가”, “누가 지웠는가”가 모델 응답 품질만큼 중요하다.