AI가 코드를 작성하고, 차가 알아서 운전하고, 챗봇이 고객 응대를 대신합니다. 우리는 더 편해졌을까요? 아니면 더 무능해졌을까요?

1983년, 영국의 심리학자 Lisanne Bainbridge는 “Ironies of Automation”이라는 논문에서 놀라운 주장을 했습니다. 자동화 기술이 발전할수록 인간의 역할은 오히려 더 어려워진다는 것이죠. 40년이 지난 지금, AI 시대를 살아가는 우리에게 이 경고는 여전히 유효합니다.

소프트웨어 엔지니어 Ulf Riedel이 Bainbridge의 고전 이론을 AI 시대에 재해석한 2부작 에세이를 발표했습니다. 자동화가 가져오는 두 가지 근본적인 아이러니를 분석하고, GitHub Copilot부터 자율주행차까지 현대 AI 시스템에서 이 문제가 어떻게 반복되는지 보여줍니다.

출처:

• The Ironies of AI, Part 1: Automation – ufried.com
• The Ironies of AI, Part 2: Application – ufried.com

자동화의 첫 번째 아이러니: 완벽함의 함정

자동화 시스템을 설계하는 목적은 인간을 배제하는 것입니다. 하지만 역설적이게도 완전한 자동화는 불가능하고, 결국 인간이 개입해야 하는 순간이 옵니다. 문제는 그 순간이 가장 어려운 상황이라는 점이죠.

비행기 자동조종장치를 생각해보세요. 맑은 날 순항할 때는 완벽하게 작동합니다. 하지만 갑작스러운 난기류나 시스템 오류가 발생하면? 그때야 비로소 조종사가 개입해야 합니다. 시스템이 감당할 수 없는, 가장 복잡하고 위험한 상황에서 말이죠.

Riedel은 이를 “자동화는 쉬운 일만 처리하고, 어려운 일은 인간에게 떠넘긴다”고 표현합니다. 더 나아가 자동화가 발전할수록 인간에게 남겨지는 일은 더욱 어려워집니다. AI가 루틴한 코딩 작업을 대신할수록, 개발자에게는 AI가 해결 못하는 복잡한 아키텍처 설계나 엣지 케이스 디버깅만 남게 되는 것처럼요.

두 번째 아이러니: 숙련도의 상실

더 심각한 문제가 있습니다. 자동화가 일상적인 작업을 대신하면서 인간은 실전 경험을 쌓을 기회를 잃습니다. 숙련도가 떨어지죠. 그런데 위기 상황에서 시스템이 인간에게 제어권을 넘길 때, 우리는 그 복잡한 문제를 해결할 능력을 이미 잃어버린 상태입니다.

1986년 체르노빌 원전 사고가 대표적인 사례입니다. 당시 운영진은 자동 안전 시스템을 끄고 테스트를 진행했는데, 평소 자동화에 의존하던 그들은 수동으로 원자로를 제어할 역량을 상실한 상태였습니다. 결과는 인류 역사상 최악의 원전 사고였죠.

현대 AI 시스템에서도 이 패턴이 반복됩니다. GitHub Copilot에 익숙해진 주니어 개발자는 기초적인 코딩 능력을 기르지 못할 수 있습니다. 자율주행에 의존하는 운전자는 돌발 상황에서 차량을 제어하는 감각을 잃어갑니다. Tesla 사고 통계가 이를 뒷받침하죠. 오토파일럿을 켰을 때보다 껐을 때 사고율이 더 높습니다. 왜일까요? 운전자들이 이미 운전 감각을 잃어버렸기 때문입니다.

해결책은 없는가?

Bainbridge는 명확한 해답을 제시하지 않았습니다. 대신 자동화 설계자들에게 이 아이러니를 인식하고, 인간의 역할을 신중하게 고려하라고 당부했죠.

Riedel은 여기서 한 걸음 더 나아갑니다. AI 시스템을 도입할 때 단순히 “효율성”만 따져서는 안 된다고 말합니다. 장기적으로 인간의 숙련도가 어떻게 변할지, 위기 상황에서 누가 어떻게 대응할지를 함께 설계해야 한다는 것이죠.

예를 들어 의료 AI는 의사의 진단을 돕지만 의사를 대체하지 않습니다. AI가 패턴을 찾아내면 의사가 최종 판단을 내리고, 그 과정에서 의사는 계속 숙련도를 유지합니다. 반면 완전 자율주행차는 운전자를 수동적 승객으로 만들어버리죠. 위급 상황에서 “지금 당장 운전대를 잡으세요”라고 요구하는 것은 무책임합니다.

40년 전 Bainbridge가 제기한 질문은 오늘날 더 절박합니다. AI가 우리를 대신할수록, 우리는 정말 더 나아지는 걸까요? 아니면 AI 없이는 아무것도 할 수 없는 무능력자가 되어가는 걸까요?

답은 우리가 AI를 어떻게 설계하고 사용하느냐에 달려 있습니다.

Like?