AI 코딩 도구가 개발자를 10배 빠르게 만든다는 주장이 난무하지만, 실제 연구 결과는 정반대였습니다. 오히려 19% 느려졌다는 충격적인 데이터가 나왔거든요.
개발자들이 속고 있었다
25년 경력의 한 개발자가 분노에 찬 글을 올렸습니다. 그는 METR 연구소의 충격적인 발견을 접하고 나서 직접 6주간 실험을 했어요.
동전을 던져서 앞면이 나오면 AI 도구를 쓰고, 뒷면이 나오면 직접 코딩했습니다. 그 결과는 놀라웠죠.
AI를 쓸 때 중간값으로 21% 더 느려졌어요. METR 연구의 19%와 거의 일치하는 결과였죠.
METR 연구의 충격적 발견
METR 연구소는 16명의 숙련된 오픈소스 개발자들을 대상으로 실험했습니다. 평균 2만 개 이상의 스타를 받은 대형 프로젝트에서 몇 년간 일해온 전문가들이죠.
연구 방법은 간단했어요. 개발자들이 평소에 하는 실제 작업을 랜덤으로 두 그룹으로 나눴습니다:
- AI 도구 사용 허용 그룹 (주로 Cursor Pro + Claude 3.5 사용)
- AI 도구 사용 금지 그룹
결과는 충격적이었죠. AI를 쓴 개발자들이 19% 더 느렸어요.
더 놀라운 건 개발자들의 착각이었습니다. 그들은 AI가 자신을 24% 빠르게 만들 것이라고 예상했어요. 실제로 느려진 후에도 여전히 20% 빨라졌다고 생각했죠.
기업들의 과장된 주장들
GitHub Copilot: “상사처럼 위임하세요”
Cursor: “당신을 엄청나게 생산적으로 만들어드립니다”
Claude Code: “더 나은 소프트웨어를 더 빠르게 만드세요”
Google은 자사 개발자들이 25% 빨라졌다고 주장해요. OpenAI도 비슷한 주장을 하죠. 심지어 개발자의 14%는 AI 덕분에 10배 빨라졌다고 답했어요.
문제는 이런 주장들이 실제 사람들의 삶에 영향을 준다는 거예요. 기업들은 이런 허상을 믿고 개발자를 해고하거나 연봉을 깎고 있어요.
그럼 소프트웨어 폭발은 어디에?
만약 AI 도구가 정말 개발자를 10배 빠르게 만든다면, 지금쯤 소프트웨어의 홍수를 봐야 해요. 개인 개발자들이 만든 앱들이 넘쳐나고, GitHub에는 온갖 프로젝트들이 쏟아져야 하죠.
하지만 현실은 어떨까요?
데이터를 보면 놀랍도록 평평해요. AI 코딩 도구가 널리 퍼진 2022-2023년 이후에도 새로운 소프트웨어 출시량에 변화가 없어요.
70달러를 들여 BigQuery로 분석한 이 차트가 모든 걸 말해줘요. 어떤 하키스틱 곡선도, 급격한 증가도 없어요.
AI 도구가 느린 이유
METR 연구는 왜 AI가 개발자를 느리게 만드는지 5가지 원인을 찾아냈어요:
- 과도한 낙관주의: 개발자들이 AI를 과신해요
- AI 결과물 검토 시간: 생성된 코드를 읽고 이해하는 데 시간이 많이 걸려요
- AI 대기 시간: 응답을 기다리는 시간이 생각보다 길어요
- 부정확한 코드 정리: AI가 만든 엉성한 코드를 고치는 데 시간을 빼앗겨요
- 숙련된 개발자의 특성: 이미 잘 아는 작업에서는 AI가 오히려 방해가 돼요
연구에 참여한 개발자들은 AI가 생성한 코드의 44% 미만만 실제로 사용했어요. 나머지는 버리거나 수정해야 했죠.
그럼 AI는 완전 쓸모없나?
아니에요. IT 매체 The Verge가 소개한 한 개발자는 흥미로운 비유를 했어요.
“AI는 고정밀 3D 프린터 같아요. 작은 부품 하나 만들라고 하면 완벽하게 해내죠. 하지만 조종석 전체를 만들라고 하면 조종석 모양의 죽음의 방이 나와요.”
핵심은 문제의 범위를 제한하는 거예요. 한 개발자는 40밀리초씩 순차적으로 실행되던 12줄의 코드를 AI의 도움으로 병렬 처리하도록 바꿨어요. 전체 작업 시간이 40분의 1로 줄어들었죠.
현실적인 AI 활용법
AI 도구는 작고 명확한 작업에서는 도움이 됩니다. 함수 하나를 만들거나 알고리즘 일부를 작성할 때, 반복적인 코드를 생성할 때는 유용합니다. 익숙하지 않은 라이브러리 사용법을 배우거나 코드 스니펫이 필요할 때도 마찬가지입니다.
하지만 복잡한 아키텍처를 설계하거나 기존 코드베이스를 대규모로 리팩토링할 때는 오히려 방해가 됩니다. 이미 잘 아는 작업이나 높은 품질 기준이 필요한 프로덕션 코드 작업에서도 AI는 도움보다는 걸림돌이 될 가능성이 큽니다.
개발자들에게 드리는 조언
만약 당신이 AI 도구 사용 압박을 받고 있다면, 안심하시기 바랍니다. 도구가 어색하게 느껴지고, 오히려 느려진다고 생각한다면 당신이 이상한 것이 아닙니다. 데이터가 당신의 경험을 뒷받침해줍니다.
용기가 있다면 상사에게 이 데이터를 보여주세요. “우리가 정말 AI 도구에 투자해야 할까요?”라고 물어보는 것입니다.
그리고 누군가 AI 덕분에 10배 빨라졌다고 자랑한다면, 증거를 요구하세요. “올해 만든 30개 앱을 보여주세요”라고 말입니다.
결국 시간이 답을 줄 것
AI 기술은 빠르게 발전하고 있습니다. 몇 달 전의 연구 결과가 지금 시점에서는 다를 수 있고, 몇 달 후에는 또 다른 결과가 나올 수 있습니다.
METR 연구소도 이 점을 인정하며 지속적인 추적 연구를 예고했습니다. AI의 발전과 함께 개발자 생산성이 어떻게 변하는지 계속 관찰하겠다고 밝혔습니다.
지금 이 순간 확실한 것은 AI 코딩 도구를 둘러싼 주장들이 여전히 논란 중이라는 사실입니다. 화려한 마케팅 문구나 개인적 체험담보다는 지속적이고 객관적인 데이터가 진실을 알려줄 것입니다.
참고자료:
- Where’s the Shovelware? Why AI Coding Claims Don’t Add Up
- Is AI the end of software engineering or the next step in its evolution? – The Verge
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity – METR
- AI Coding Tools Made Some Engineers Less Productive: Study – Business Insider
Comments