지금까지 에이전트를 만든다는 건 대개 “모델에게 도구를 쥐어주고 반복 호출하게 만드는 것”이었습니다. LangChain은 이 하나의 루프 위에 세 겹을 더 쌓아야 진짜 쓸만한 에이전트가 된다고 말합니다.

LangChain이 자사 블로그에 에이전트를 안정적으로 동작시키는 방법을 정리한 글을 올렸습니다. 좋은 모델 하나로는 부족하고, 작업에 맞게 설계된 “하네스”(harness, 실행 틀)가 있어야 한다는 게 핵심 주장입니다. 그 하네스를 이루는 네 겹의 루프를 사내 문서 작성 에이전트를 예시로 설명합니다.

출처: The Art of Loop Engineering – LangChain

가장 안쪽 루프, 모델과 도구의 반복 호출

가장 기본이 되는 건 에이전트 루프입니다. 모델이 도구를 부르고, 그 결과를 보고 다음 행동을 정하고, 작업이 끝날 때까지 이 과정을 반복하는 구조죠. LangChain의 create_agent가 만들어주는 게 바로 이 루프입니다. 예시로 든 사내 문서 작성 에이전트는 이 단계에서 “이 문서를 개선해줘”라는 요청을 받으면, 저장소를 복제하고 파일을 읽고 수정한 뒤 풀 리퀘스트를 여는 식으로 도구를 순서대로 써나갑니다. 문제는 이 루프만으로는 결과물이 매번 정확하거나 일관되지 않는다는 것. 한 번에 제대로 끝나는 경우가 오히려 드뭅니다.

결과를 채점하는 검증 루프

그래서 두 번째 루프는 에이전트가 내놓은 결과를 채점기로 검사합니다. 정해진 기준(rubric)에 미달하면 무엇이 잘못됐는지 피드백과 함께 모델에게 다시 돌려보내는 구조죠. 채점 기준은 정해진 규칙으로 판단할 수도 있고, 다른 LLM이 판단을 내리는 방식(LLM as a judge)을 쓸 수도 있습니다. 문서 작성 에이전트라면 링크가 실제로 열리는지, CI 검사를 통과하는지, 수정 범위가 요청받은 내용에서 벗어나지 않는지를 매번 자동으로 확인하는 식입니다. 사람이 일일이 검토하지 않아도 이런 종류의 실수는 걸러지는 거죠. 다만 검증 단계를 거칠 때마다 지연 시간과 비용이 늘어나는 트레이드오프가 있습니다. 속도보다 품질이 중요한 대부분의 실제 사용 사례에서는 감수할 만하다는 게 LangChain의 설명입니다.

에이전트를 상시 작동하게 만드는 이벤트 루프

세 번째는 에이전트를 외부 이벤트와 연결하는 루프입니다. 새 문서가 올라오거나, 정해진 일정이 되거나, 웹훅이 도착하는 순간 에이전트가 자동으로 실행되죠. 더 이상 사람이 매번 호출해야 하는 도구가 아니라, 더 큰 시스템 안에서 계속 돌아가는 하나의 구성 요소가 되는 셈입니다. 문서 작성 에이전트는 사내 슬랙 채널에 메시지가 올라오는 순간 자동으로 실행되도록 연결돼 있다고 하네요.

실행 기록으로 스스로를 고치는 힐클라이밍 루프

앞의 세 루프가 작업을 자동화한다면, 네 번째 루프는 “개선 자체”를 자동화합니다. 에이전트가 실행될 때마다 무엇을 했는지, 어떤 도구를 불렀는지, 채점 결과가 어땠는지가 실행 기록(trace)으로 남습니다. 힐클라이밍 루프는 이 기록들을 분석 전용 에이전트에게 넘겨서, 반복되는 문제를 찾아내고 그 결과로 하네스 설정 자체, 즉 프롬프트나 도구 구성을 다시 쓰게 만듭니다. 문서 작성 에이전트의 경우 여러 실행 기록에서 같은 문제가 반복 감지되면, 문제가 된 프롬프트나 도구를 고쳐달라는 이슈가 자동으로 등록되는 방식입니다. 여기서 중요한 건 이 루프의 결과가 바깥으로 나가는 게 아니라, 안쪽 루프로 다시 들어가 직접 값을 바꾼다는 점입니다. 바깥 루프가 한 바퀴 돌 때마다 안쪽 루프들이 더 정교해지는 구조인 거죠.

사람의 판단이 필요한 지점은 남는다

네 겹의 루프 모두 자동화를 지향하지만, LangChain은 사람을 완전히 빼는 게 목표는 아니라고 강조합니다. 채점기는 링크가 열리는지는 확인할 수 있어도, 글의 톤이 독자에게 맞는지는 판단하지 못합니다. 맥락과 경험에서 나오는 감각은 여전히 사람의 몫이라는 것. 실제로 금융 거래나 데이터베이스 조작처럼 민감한 작업에는 각 루프 단계마다 사람의 승인 절차를 끼워 넣을 수 있게 설계돼 있다고 합니다.

LangChain은 그동안 업계가 첫 두 루프(에이전트, 검증)에 집중해왔지만, 실제 가치는 세 번째와 네 번째 루프, 즉 에이전트를 생태계에 편입시키고 스스로 개선하게 만드는 데서 나온다고 봅니다. 학습 루프를 일찍 갖춘 조직일수록 사람의 판단과 축적된 실행 기록이 함께 쌓이며 따라잡기 어려운 격차를 만든다는 게 이 글이 던지는 메시지입니다.