에이전트 하나를 39일 동안 거의 손대지 않고 돌렸습니다. 결과물은 제법 그럴듯한 워드 프로세서 프로토타입이었습니다. 그런데 정작 문서 편집기라면 당연히 있어야 할 눈금자와 여백 조절 버튼이 빠져 있었습니다.

마이크로소프트 부사장 겸 부CTO인 샘 실라체이스는 이 실험을 “dev machine”이라 부릅니다. 상태 파일을 읽고, 다음에 할 일을 고르고, 만들고, 테스트하고, 커밋한 뒤 다시 잠드는 루프를 반복하는 에이전틱 시스템입니다. 공교롭게도 그는 훗날 구글 독스가 된 협업 워드 프로세서 Writely의 공동창업자이기도 한데, 이번엔 그 워드 프로세서를 에이전트에게 처음부터 다시 만들어보게 하는 실험을 진행했습니다.

출처: Dev machines execute specs. Your spec sets the strategy. – Sam Schillace

39일 동안 거의 혼자 돌아간 시스템

이 실험은 흔히 말하는 “AI 코딩 자동완성”과는 다릅니다. 실라체이스가 설계한 dev machine은 사람이 매 단계 지시하는 대신, 스스로 상태를 확인하고 다음 작업을 판단해 실행합니다. 39일 동안 이 루프가 반복되면서, 대부분의 기능이 갖춰진 워드 프로세서 프로토타입이 만들어졌습니다.

결과물은 인상적이었습니다. 문서 작성과 편집에 필요한 여러 기능이 사람 손을 거의 타지 않고 구현됐습니다. 그런데 정작 사용자가 문서 편집기를 켜자마자 기대하는 상단의 눈금자와 여백 조절 UI는 눈에 띄게 빠져 있었습니다. 에이전트가 게을러서가 아닙니다. 애초에 그 부분이 스펙에 명확히 담겨 있지 않았기 때문입니다.

“알아서 잘한다”는 통념과 실제 사이

최근 개발자 커뮤니티에는 “에이전트는 이제 충분히 똑똑하니, 목표만 대충 던져주고 알아서 탐색하게 두는 게 더 빠르고 유연하다”는 생각이 퍼지고 있습니다. 스펙을 꼼꼼히 쓰는 건 관료적인 낭비라는 인식입니다.

하지만 이 실험은 정반대를 보여줍니다. 에이전트가 자율적으로 오래 돌아갈수록, 오히려 스펙의 역할은 더 커집니다. 사람이 매 순간 옆에서 방향을 잡아주지 않기 때문에, 처음에 어떤 전제와 요구사항을 남겨두느냐가 최종 결과물의 품질을 그대로 결정합니다. 실라체이스는 이를 “스펙이 전략을 정한다”고 표현합니다. 에이전트는 스펙을 실행할 뿐, 스펙에 없는 걸 알아서 채워 넣지는 않는다는 뜻입니다.

O’Reilly에 실린 관련 글도 같은 지점을 짚습니다. 에이전트가 놓치는 부분은 능력 부족이 아니라, 애초에 무엇을 만들어야 하는지에 대한 정보가 부족했기 때문이라는 겁니다. 두 사례 모두, 에이전트의 자율성이 커질수록 초기 지시의 정확도가 결과물에 더 크게 반영된다는 점을 가리킵니다.

자율성과 스펙은 반비례하지 않는다

이 실험이 흥미로운 지점은, 에이전트가 39일이나 사람 없이 돌아갔다는 사실 자체가 아닙니다. 그 긴 시간 동안 에이전트가 벗어나지 않은 궤도가 애초에 스펙으로 그어져 있었다는 점입니다. 눈금자 UI가 빠진 건 에이전트의 판단 실패가 아니라, 애초에 “문서 편집기에는 눈금자가 있어야 한다”는 전제가 스펙 어디에도 없었기 때문입니다.

에이전트에게 맡기는 일이 길고 복잡해질수록, “알아서 하겠지”라는 기대와 실제로 나오는 결과물 사이의 간극도 함께 커질 수 있습니다. 이 간극을 메우는 건 에이전트의 성능이 아니라, 처음에 무엇을 얼마나 구체적으로 정해두었는가에 달려 있다는 게 두 글이 공통으로 가리키는 지점입니다.

참고자료:

• Why AI Coding Agents Still Need Clear Specs – O’Reilly Radar