AI와 긴 세션을 진행하다 보면 어느 순간 이상함을 느낄 때가 있습니다. 분명히 말했던 내용을 AI가 모르는 것처럼 행동하거나, 앞서 결정한 방향과 다른 말을 합니다. 오류 메시지는 없습니다. AI는 여전히 자신감 있게 답변하고 있고요.

O’Reilly Radar의 Andrew Stellman이 자신의 AI 에이전트 시리즈 7편에서 이 현상의 정체를 설명합니다. AI가 긴 대화에서 이전 내용을 잊는 현상, Context Compaction(컨텍스트 컴팩션)입니다. 개발자만의 이야기가 아니라, AI 도구를 쓰는 모든 사람에게 해당됩니다.

출처: Your AI Agent Already Forgot Half of What You Told It – O’Reilly Radar

AI의 작업 기억은 한계가 있습니다

AI와의 대화에서 AI가 기억하는 모든 것 — 여러분이 말한 내용, AI가 답한 내용, 읽어들인 파일, 내부 메모 — 은 컨텍스트 윈도우(context window) 안에 담깁니다. 사람으로 치면 단기 기억에 해당합니다. 그리고 이 공간은 고정 크기입니다.

창이 가득 차면 AI는 무언가를 지워야 합니다. 이때 일어나는 일이 컨텍스트 컴팩션입니다. 도구마다 방식은 조금씩 다릅니다. 오래된 메시지를 그냥 잘라내는 경우도 있고, 대화 전체를 요약으로 압축하는 경우도 있습니다. 요약이라면 완전한 것처럼 보이지만, 세부 내용은 이미 사라진 뒤입니다.

문제는 AI가 이 사실을 알려주지 않는다는 점입니다. 잊어버린 뒤에도 자신감 있는 답변을 계속 생성합니다. 오류 메시지도, 경고도 없습니다.

저자 Stellman이 직접 겪은 사례가 이를 잘 보여줍니다. Gemini 모바일 앱으로 초고를 읽으며 노트를 정리하다가, 앞서 적은 내용을 반영했는지 확인해달라고 했습니다. Gemini는 이전 노트에 접근할 수 없다고 답했습니다. 같은 세션에서 방금 함께 작성한 내용이었는데도요. Gemini가 조용히 대화를 컴팩션했고, 앞부분 노트는 그냥 사라졌던 겁니다.

가장 아플 때 일어납니다

컨텍스트 한계는 대화에 가장 많은 정보가 쌓였을 때 찾아옵니다. 그게 바로 그 정보를 잃는 비용이 가장 큰 시점이기도 합니다.

AI 에이전트를 개발할 때는 이 문제가 더 극단적으로 드러납니다. 복잡한 작업을 진행하다 보면 컨텍스트 윈도우가 채워지고, AI는 앞서 발견한 내용이나 내린 결정을 잃어버립니다. 그런데 그 잊어버림 자체가 보이지 않습니다. 에러가 나지 않고, 그냥 불완전한 결과물이 나옵니다.

중요한 것은 대화 밖에 꺼내 놓아야 합니다

저자가 소개하는 대처 원칙의 핵심은 하나입니다. 중요한 정보를 AI의 컨텍스트 윈도우에만 두지 말고, 파일이나 문서로 꺼내 놓기. 컴팩션이 일어나도 파일은 사라지지 않습니다.

여기서 파생되는 실용적인 원칙들이 있습니다.

첫 번째는 발견과 작성을 분리하는 것입니다. “분석하고 보고서 써줘”는 사실 두 가지 작업입니다. AI가 두 가지를 동시에 처리하면 한쪽에서 집중력을 잃습니다. 분석 결과를 먼저 파일로 기록하고, 그 파일을 바탕으로 보고서를 쓰는 식으로 나누면 훨씬 안정적입니다.

두 번째는 세션을 끊기 전에 인수인계 문서를 만드는 것입니다. 긴 작업 세션이 끝날 것 같을 때, AI에게 “지금까지의 진행 상황과 다음 세션이 알아야 할 것을 정리해줘”라고 요청합니다. 그 내용을 새 세션 시작 시 불러오면, 스테일해진 오래된 세션보다 훨씬 깔끔하게 이어집니다.

세 번째는 절차 대신 완료 기준을 주는 것입니다. “1단계 하고, 2단계 하고, 3단계 해줘” 형태의 지시는 컨텍스트가 압축되면 AI가 단계를 건너뛰거나 헷갈립니다. 대신 “이 조건이 충족되면 완료야”처럼 결과 기준으로 지시하면, AI가 중간 과정에서 길을 잃어도 목적지는 확인할 수 있습니다.

AI도, 사람도 같은 이유로 중요한 걸 기록합니다

저자는 이 글에서 2005년에 공동 저술한 소프트웨어 프로젝트 관리 책의 한 문장을 떠올립니다. “중요한 정보가 적히지 않으면, 팀은 같은 논의를 다시 해야 한다.” 사람 팀을 두고 쓴 말이지만, AI 세션에도 그대로 적용됩니다.

컨텍스트 관리는 개발자의 전문 기술이 아닙니다. AI를 일상적으로 쓰는 모든 사람이 이해해두면 훨씬 덜 답답해지는 개념입니다. 원문에는 에이전트 개발 맥락에서의 구체적인 구현 사례도 풍부하게 담겨 있습니다.