AI 코딩 도구로 오픈소스에 기여하기가 훨씬 쉬워졌습니다. 그런데 받는 쪽, 즉 메인테이너 입장에서는 오히려 일이 더 많아졌다면 어떨까요?
Flask, Jinja2 등 주요 오픈소스 프로젝트로 알려진 개발자 Armin Ronacher가 자신이 참여 중인 AI 코딩 에이전트 툴 Pi를 개발하면서 경험한 내용을 공유했습니다. AI로 생성된 이슈와 PR이 오픈소스 생태계를 어떻게 바꾸고 있는지, 그리고 그것이 실제 유지보수에 어떤 부담을 주는지를 90일치 데이터와 함께 솔직하게 적었습니다.
출처: Building Pi With Pi – lucumr.pocoo.org
자신감 넘치는 틀린 분석이 더 위험하다
AI가 만든 이슈의 가장 큰 문제는 부정확한 내용이 아닙니다. 부정확하면서도 자신감 있게 쓰여 있다는 점입니다.
사용자가 버그를 발견하고 LLM에게 분석을 맡기면, LLM은 실제로 확인하지 않은 근본 원인 추측, 그럴듯해 보이지만 엉뚱한 코드 참조, 관련 있어 보이는 에러 클래스 목록을 잔뜩 생성합니다. 문제는 이것이 불확실한 추측처럼 보이지 않는다는 겁니다. 완성도 높은 문장과 정확해 보이는 형식 덕분에 분석처럼 읽힙니다.
Pi 팀이 이 이슈를 다시 Pi(AI 에이전트)에게 넘기면, Pi 역시 같은 함정에 빠집니다. 이슈 본문의 내용을 소문으로 받아들이지 않고 증거로 취급하기 때문입니다. 틀린 진단이 이미 자신 있게 적혀 있으면, AI는 그 방향으로 조사를 진행합니다. Pi 팀은 이 문제를 막기 위해 /is 슬래시 커맨드에 “이슈 본문의 분석을 믿지 말고, 코드와 실행 경로에서 직접 분석하라”는 지시를 명시적으로 넣었지만, 완전히 막기는 어렵다고 합니다.
Ronacher의 결론은 이렇습니다. 이슈 보고는 인간이 직접 관찰한 것으로 충분하다는 겁니다.
- 내가 실행한 명령
- 내가 기대한 결과
- 실제로 발생한 일
- 정확한 에러 로그나 스택 트레이스
근본 원인을 모른다면 모른다고 쓰면 됩니다. 재현 방법이 확실하지 않다면 그 사실도 적으면 됩니다. LLM이 만든 가설은 이슈 본문이 아니라 댓글로 붙이는 게 낫습니다.
AI 코드가 복잡성을 쌓는 방식
이슈뿐 아니라 코드도 비슷한 패턴을 보입니다. Ronacher는 AI가 만든 코드에서 반복적으로 발견하는 문제를 “지역 방어 코드”라고 표현합니다.
Pi의 세션 로그는 반드시 지켜야 하는 불변식(invariant)이 있는 설계입니다. 잘못된 형식의 세션 로그가 크래시를 일으킨다는 버그 보고가 들어오면, AI는 이렇게 반응합니다. 관대한 리더를 추가하고, 폴백을 추가하고, 마이그레이션 로직을 추가하고, 디버그 출력을 추가합니다.
각각은 나쁜 선택이 아닐 수 있지만, 시스템 전체 관점에서는 틀린 방향입니다. 올바른 수정은 잘못된 데이터를 처리하는 것이 아니라 잘못된 데이터가 애초에 생성되지 않도록 막는 것이기 때문입니다. AI는 전역 불변식을 보지 않고 눈앞의 실패만 보기 때문에, 버그 하나에 방어 코드 여러 겹이 생깁니다. 이것이 AI 작성 코드가 불필요하게 복잡해지는 주된 이유 중 하나입니다.
숫자로 본 오픈소스의 현실
Pi 팀이 공개한 90일 데이터는 이 문제의 규모를 보여줍니다.
Earendil 멤버를 제외한 외부 기여자의 이슈와 PR은 3,145건이었습니다. 이 중 2,504건이 자동 폐쇄됐습니다. 이슈의 경우 자동 폐쇄 후 재검토해 수정에 반영된 비율이 26%였고, PR은 더 엄격했습니다. 자동 폐쇄된 714건의 PR 중 최종 병합된 건 60건, 약 8%에 그쳤습니다.
Pi 팀은 신규 기여자의 이슈와 PR을 자동으로 닫는 정책을 운영합니다. 스팸을 걸러내기 위해서입니다. Ronacher는 OpenClaw 인스턴스나 특정 컨텍스트 스킬이 이슈를 자동 생성하는 경우도 있었고, 사용자 본인도 인식하지 못한 채 제출된 이슈가 있다고 언급합니다.
AI 시대, 오픈소스의 가치는 어디서 오는가
Ronacher의 글은 기술 비판으로 끝나지 않습니다. AI는 코드의 양과 프로젝트의 수를 늘렸지만, 소프트웨어가 필요한 사람의 수나 코드를 검토할 수 있는 메인테이너의 수는 늘리지 못했다는 점을 짚습니다.
AI가 지역 우회를 값싸게 만들면, 개발자는 문제가 어디에서 고쳐져야 하는지를 논의하는 대신 각자 자신의 코드에 방어막을 쌓습니다. 업스트림을 고치면 모두가 이익을 보지만, AI와 단둘이 앉아 있으면 그 동기가 줄어듭니다.
오픈소스의 가치는 원래 프로젝트를 만든 사람이 떠나도 커뮤니티와 구조가 남는 데 있습니다. AI가 협업을 대체할 때 그 가치가 희석된다는 것이 그의 핵심 주장입니다.
참고자료:
답글 남기기