에이전트는 평소엔 설치된 스킬 전체를 다 읽어들이지 않습니다. 이름과 짧은 설명만 가벼운 목록으로 들고 있다가, 필요한 순간에야 해당 스킬의 본문을 끌어오죠. 그래서 스킬이 몇십 개, 몇백 개 깔려 있다는 사실 자체는 크게 문제가 안 됩니다. 문제는 그 짧은 설명 두 개가 서로 겹칠 때 벌어집니다.

AI 개발자 드류 브로이니그가 이 문제를 자신의 블로그에서 짚었습니다. 그는 예전에 “Tool Loadout”이라는 개념으로, 에이전트에 달아둔 도구·스킬 구성을 주기적으로 점검해야 한다고 주장한 적이 있습니다. 이번 글은 그 주장이 실제로 얼마나 흔한 문제인지 보여주는 사례 모음에 가깝습니다.

출처: Manage Your Agent’s Loadout with Dr. Skill – Drew Breunig

설명이 겹치면 라우터가 헷갈린다

브로이니그가 최근 만난 한 개발자는 자신의 엔터프라이즈 에이전트에 스킬이 600개 넘게 쌓여 있다는 걸 뒤늦게 알아챘습니다. 동료들이 만든 스킬이 알림도 없이 하나둘 기본값으로 딸려 들어온 결과였죠. 브로이니그 자신도 비슷한 일을 겪었습니다. 그가 쓰는 에이전트 Hermes가 계속 엉뚱한 메모 스킬을 불러왔는데, 알고 보니 Hermes에는 기본으로 딸려오는 스킬이 거의 100개나 있었던 것.

두 사례 모두 핵심은 “개수”가 아니라 “충돌”입니다. 비슷한 역할을 하는 스킬 두 개가 동시에 설치돼 있으면, 에이전트가 짧은 설명만 보고 어느 쪽을 부를지 판단해야 하는데 그 판단 근거가 부족해지는 겁니다. 설명끼리 미묘하게 겹치거나, 아예 똑같은 스킬이 경로만 다르게 두 번 설치돼 있는 경우가 흔한 원인으로 꼽힙니다. 브로이니그는 기본 탑재된 메모 스킬 하나를 지워보고 나서야 문제가 조금 나아졌다고 밝혔습니다. 다만 완전히 해결되지는 않았고, 그렇다고 100개 스킬을 하나하나 다 읽어볼 마음도 나지 않았다고 하네요.

무엇을 점검해야 하는가

이 문제를 해결하려고 브로이니그는 설치된 스킬과 MCP 전체를 훑어 문제를 찾아주는 진단 도구를 직접 만들었습니다. 이 도구가 살펴보는 항목이 34가지나 된다는 점이 눈에 띕니다. 스킬 하나에 설명이 아예 빠져 있는 경우, 똑같은 스킬이 서로 다른 경로에 중복 설치된 경우처럼 단순한 실수부터, 두 스킬의 설명이 서로 겹쳐서 구분이 안 되는 경우처럼 미묘한 충돌까지 폭넓게 잡아냅니다.

브로이니그가 이 도구를 공개한 지 일주일 만에 들은 활용 사례들을 보면, 실제로 개발자들이 스킬 구성에서 뭘 놓치고 있었는지 감이 옵니다. 가장 흔한 건 에이전트가 엉뚱한 스킬이나 도구를 부르는 이유를 추적하는 경우였습니다. 설명 두 개가 겹쳐서 라우터가 구분하지 못하는 패턴이 대부분이었죠.

배포 전에 걸러야 할 위험 요소를 미리 잡아낸 경우도 있었습니다. 설정 파일에 실수로 비밀키가 남아 있거나, 서버 패키지 버전이 고정돼 있지 않은 경우가 대표적입니다. 스킬 설명이 원래 정의(락파일)에서 슬쩍 달라져 있거나, MCP 서버가 도구 설명을 자체적으로 바꿔버린 걸 뒤늦게 알아챈 사례도 있었네요.

나머지 두 용도는 조금 더 능동적입니다. 자기가 만든 스킬 설명이 다른 라이브러리와 충돌하지 않는지 미리 확인하는 용도, 그리고 에이전트가 실제로 어떤 스킬과 도구를 얼마나 자주 쓰는지 사용 기록으로 확인하는 용도입니다.

이 마지막 지점이 특히 실용적입니다. 설치돼 있다고 해서 다 쓰이는 건 아니거든요. 실행 기록을 분석해 실제 호출 빈도를 보면, 한 번도 안 쓰인 스킬이 그저 목록에만 자리 차지하며 충돌 후보로 남아 있는 경우를 찾아낼 수 있습니다.

개수보다 충돌을 관리해야 한다

에이전트에 스킬과 MCP를 계속 추가하는 흐름 자체는 자연스럽습니다. 문제는 그 스킬들을 늘어놓기만 하고 서로 부딪히는지는 확인하지 않는다는 점입니다. 브로이니그의 사례들이 공통으로 가리키는 지점은 하나입니다. 자기 에이전트에 뭐가 깔려 있는지, 그중 설명이 겹치는 게 있는지, 실제로는 뭘 쓰고 있는지를 가끔은 스스로 점검해봐야 한다는 것. 새 스킬을 설치할 때만큼, 이미 깔려 있는 것들을 들여다보는 습관이 필요한 이유입니다.

참고자료: How to Fix Your Context – Drew Breunig