같은 자동화 라인인데 결과는 전혀 다릅니다. 사람이 검토를 계속하는 공장이 있고, 아예 불을 끄고 기계끼리만 돌아가게 둔 공장이 있죠.

구글 엔지니어 애디 오스마니가 자신의 블로그에 올린 에세이입니다. 1968년 처음 등장한 “소프트웨어 팩토리”라는 개념을 에이전트 시대에 맞게 다시 풀어냈습니다.

출처: Software Factories, Light and Dark – AddyOsmani.com

루프에서 하네스로, 하네스에서 팩토리로

가장 작은 단위는 “루프”입니다. 에이전트 하나가 맥락을 모으고, 행동하고, 결과를 확인하고, 조건이 충족될 때까지 이 과정을 반복하는 것. 에이전트 작업의 최소 단위죠.

이 루프를 감싸는 게 “하네스”입니다. 에이전트가 돌아가는 샌드박스, 쓸 수 있는 도구, 실행 사이에도 남아 있는 기억, “완료”를 판정하는 조건까지 전부 하네스가 정합니다. 하네스 없이 모델만 던져주면 언제까지고 헛돌기만 하는 이유입니다.

그리고 이 하네스가 여러 개 동시에 돌아가면서, 큐에서 작업을 받고 검토 관문을 거쳐 실제로 배포까지 이어지는 전체 흐름이 “팩토리”입니다. 오스마니는 이걸 “더 똑똑한 에이전트 하나”가 아니라 “루프로 이루어진 조직도”라고 표현합니다.

왜 하필 “다크”라고 부를까

이 표현은 제조업에서 빌려온 겁니다. 사람 없이 로봇만으로 돌아가는 “무인 공장”은 조명조차 필요 없어서 불을 꺼둔다는 데서 나온 말이죠. 일본의 화낙은 2001년부터, 샤오미도 2024년 이런 무인 공장을 실제로 운영하고 있습니다.

소프트웨어에서는 이 “불 꺼짐”이 다른 의미가 됩니다. 코드를 작성한 사람도, 검토한 사람도, 배포한 사람도 없이, 오직 기계가 만든 걸 기계가 검증만 한 채로 넘어가는 상태를 뜻합니다. 검토 단계 하나를 빼는 것뿐인데, 팀의 처리량은 순식간에 확 늘어난 것처럼 느껴집니다. 문제는 그 손쉬움이 착시라는 데 있습니다.

4개월 돌려보니 드러난 진짜 비용

오스마니는 HumanLayer 공동창업자 덱스 호시의 발표를 인용합니다. 호시는 완전 자동화된 코드 팩토리를 4개월 동안 운영했는데, 그동안 그 코드를 사람이 단 한 번도 읽지 않았습니다.

여기서 드러난 게 “이해 부채(comprehension debt)”라는 개념입니다. 존재하는 코드의 양과, 그걸 실제로 이해하고 있는 사람의 양 사이의 격차가 점점 벌어지는 현상이죠. 다크 팩토리는 이 부채를 갚기는커녕, 테스트는 계속 초록불을 켠 채로 부채를 더 빠르게 늘려갑니다.

주말 사이드 프로젝트라면 몇 달 안에 어느 정도 정리가 됩니다. 하지만 10년 넘게 운영돼온 기업용 시스템은 다릅니다. 프로덕션 코드가 요구하는 제약 안에서, 몇 달만 지나도 아무도 읽지 않은 코드에 파묻히게 됩니다. 아무리 강력한 에이전트라도 이런 환경에서는 고전할 수밖에 없다는 게 호시의 경험담입니다.

오스마니는 이 4개월 실험 안에서 서로 충돌하는 두 지표를 짚습니다. 하나는 토큰 활용도, 즉 얼마나 많은 토큰을 빠르게 써서 결과물을 뽑아냈는가로, 지금 우리가 흔히 “진전”이라 여기는 척도입니다. 다른 하나는 그 순간 사람이 여전히 이해하고 있는 시스템의 양이죠. 다크 팩토리는 앞의 지표를 밀어붙이는 동안, 뒤의 지표를 조용히 갉아먹습니다.

결국 지금 개발자에게 진짜 어려운 일은 에이전트에게 어떤 검증 장치를 만들어줄지, 그리고 어디까지 자율성을 맡길지를 판단하는 것으로 옮겨가고 있습니다.