AI 업계가 집착하는 질문이 있습니다. “어느 모델이 더 똑똑한가?” 하지만 점점 더 많은 개발자들이 깨닫고 있습니다. 이건 틀린 질문이라는 걸요.

AWS AI/ML 팀 리더 Philipp Schmid가 “Agent Harness”라는 개념을 통해 제시하는 통찰은 명확합니다. AI 경쟁의 전선이 이동하고 있다는 거죠. 모델 벤치마크 점수 경쟁에서, 며칠씩 돌아가는 복잡한 워크플로를 안정적으로 실행할 수 있는 시스템 경쟁으로요. 그리고 그 시스템의 핵심이 바로 Agent Harness입니다.

출처: The importance of Agent Harness in 2026 – philschmid.de

벤치마크가 놓치고 있는 것

여기 흥미로운 역설이 있습니다. 리더보드에서 모델들 간 성능 격차는 점점 줄어들고 있습니다. 그런데 실제로 써보면 차이가 극명하죠. 왜일까요?

기존 벤치마크는 대부분 단발성 작업을 측정합니다. 1~2번의 질의응답, 하나의 코드 생성, 단일 분석 작업. 하지만 실무에서 AI 에이전트는 이렇게 작동하지 않습니다. 데이터베이스 쿼리 → 분석 → 차트 생성 → 보고서 작성 → 이메일 발송처럼 수십, 수백 단계를 연속으로 실행하죠.

문제는 50번째, 100번째 단계에서 발생합니다. 모델이 초기 지시를 잊어버리거나, 중간 추론이 틀어지거나, 완전히 엉뚱한 방향으로 가버립니다. 리더보드에서 1%포인트 차이로 비슷해 보이던 두 모델이, 장시간 작업에서는 완전히 다른 신뢰성을 보이는 거예요. 저자는 이를 “내구성(durability)”이라고 부르는데, 이게 지금 진짜 경쟁 포인트입니다.

Agent Harness가 해결하는 진짜 문제

Agent Harness는 AI 모델을 감싸는 인프라 시스템입니다. 에이전트 자체가 아니라, 에이전트가 장기 작업에서 길을 잃지 않도록 관리하는 전체 소프트웨어 시스템이죠.

프레임워크와 다른 점이 중요합니다. 프레임워크는 “도구 호출 어떻게 하지?”, “에이전트 루프 어떻게 구현하지?” 같은 빌딩 블록을 제공합니다. Harness는 그보다 상위 레벨에서 작동해요. 프롬프트 프리셋, 컨텍스트 관리 전략, 파일시스템 접근, 하위 에이전트 관리 같은 즉시 사용 가능한 완전한 시스템을 제공합니다. Claude Code가 대표적 예시죠.

여기서 핵심 통찰이 나옵니다. AI 스타트업의 해자는 모델 접근권이 아니라, 이런 Harness를 얼마나 잘 구축하느냐에서 나온다는 겁니다. 모델 API는 모두가 쓸 수 있습니다. 하지만 며칠 동안 돌아가는 워크플로를 안정적으로 실행할 수 있는 시스템을 만드는 건 전혀 다른 문제예요.

복잡한 로직의 유통기한은 3개월

더 흥미로운 건 개발자들이 겪고 있는 좌절입니다. Manus는 6개월 동안 Harness를 다섯 번 갈아엎었습니다. LangChain은 1년에 세 번 재설계했죠. 그리고 Vercel은 아예 에이전트 도구의 80%를 삭제했습니다. 결과는? 더 빨라지고, 토큰은 줄고, 성공률은 올라갔습니다.

이게 의미하는 바는 명확합니다. 개발자들이 “모델을 돕기 위해” 만든 복잡한 로직들이 실제로는 모델을 방해하고 있다는 거예요. 2024년에 필수였던 정교한 파이프라인이 2026년엔 단순한 프롬프트 하나로 대체됩니다. 모델이 빠르게 발전하면서 손코딩한 “똑똑한” 로직의 유통기한이 몇 개월로 줄어든 겁니다.

리치 서튼의 “쓴 교훈“이 여기서 작동합니다. 계산 능력(더 좋은 모델)이 인간의 영리한 엔지니어링을 항상 이긴다는 거죠. 그래서 저자는 “Build to Delete(지울 것을 전제로 만들기)” 원칙을 강조합니다. 어제 작성한 로직을 오늘 뜯어낼 수 있는 가벼운 Harness를 만들어야 한다는 겁니다.

경쟁력은 프롬프트가 아니라 실패 데이터

저자가 제시하는 미래는 더 흥미롭습니다. 학습과 추론 환경이 수렴한다는 거예요. 지금까지는 연구실에서 학습 → 현장에서 사용 → 문제 발견 → 다시 연구실, 이런 분리된 사이클이었습니다. 하지만 Harness가 실시간으로 포착한 실패 데이터가 바로 다음 학습에 쓰이게 됩니다.

이게 중요한 이유는 새로운 병목이 “컨텍스트 내구성”이기 때문입니다. 모델이 100번째 작업에서도 초기 지시를 정확히 따르는가? 장시간 실행해도 “지치지” 않는가? Harness는 “97번째 단계에서 모델이 지시를 잃어버렸네”를 정확히 감지하고, 이 데이터를 학습에 피드백합니다.

여기서 진짜 통찰이 나옵니다. 경쟁 우위는 더 이상 프롬프트가 아니라는 겁니다. 프롬프트는 복사 가능하죠. 하지만 당신의 Harness가 포착한 실패 궤적, 장기 작업에서 모델이 어떻게 무너지는지에 대한 데이터는 복사할 수 없습니다. 이게 다음 모델 학습의 재료가 되고, 당신만의 경쟁력이 됩니다.

시스템 경쟁 시대의 시작

이 글이 보여주는 건 단순히 새로운 기술 트렌드가 아닙니다. AI 개발 패러다임의 근본적 전환입니다.

“어떤 모델이 더 똑똑한가”에서 “어떤 시스템이 더 오래 안정적으로 작동하는가”로 질문이 바뀌고 있습니다. 벤치마크 점수 경쟁은 끝나가고, 며칠씩 돌아가는 워크플로를 증명하는 시스템 경쟁이 시작됐습니다. 그리고 그 핵심에 Agent Harness가 있습니다.

참고자료:

• Context Engineering for AI Agents with LangChain and Manus – YouTube
• From Context Engineering to AI Agent Harnesses – YouTube (LangChain)
• We removed 80% of our agent’s tools – Vercel Blog