이 글은 뉴요커(The New Yorker)에 게재된 ‘Two Paths for A.I.’ 기사를 바탕으로 작성되었습니다.
AI 전문가들 사이에서 벌어지고 있는 논쟁이 있습니다. 한쪽에서는 AI가 2030년까지 인류를 멸종시킬 수 있다고 경고하고, 다른 한쪽에서는 AI를 기존 기술처럼 관리할 수 있다고 주장합니다. 같은 현실을 바라보는 두 시각이 이토록 극명하게 갈릴 수 있을까요?
지능 폭발을 경고하는 목소리
지난 봄, OpenAI의 AI 안전 연구자였던 다니엘 코코타일로(Daniel Kokotajlo)가 항의 차 회사를 그만두었습니다. 그는 회사가 자신들이 만들어내는 기술의 미래에 준비되어 있지 않다고 확신했기 때문입니다. 그가 최근 발표한 “AI 2027” 보고서는 2030년까지 ‘초지능’ AI 시스템이 인류를 지배하거나 멸종시킬 시나리오를 상세히 제시합니다.
코코타일로가 우려하는 핵심은 ‘재귀적 자기개선(Recursive Self-Improvement, RSI)’입니다. 이는 AI 프로그램이 스스로 AI 연구를 수행하게 되고, 더 똑똑한 후속 AI를 만들어내며, 그 후속 AI가 또 다시 더 뛰어난 AI를 개발하는 피드백 루프를 말합니다.
“이것은 분명히 예측이지만, 시나리오 형태의 특별한 종류의 예측입니다”라고 코코타일로는 설명합니다. 그의 시나리오에서는 AI들이 동료처럼 메시지를 주고받고 서로 업무를 할당하며, 결국 그들을 품고 있는 AI 회사보다 더 빠르고 효과적으로 성장하는 ‘회사 속의 회사’를 형성합니다.
더 무서운 점은 이런 일이 인간 프로그래머들이 AI를 연구하고 통제 가능한지 판단할 시간도 주지 않고 일어날 수 있다는 것입니다. 코코타일로는 “그들은 해석가능성 문제를 해결하지 못했다는 걸 알고 있습니다. AI 시스템의 내부 목표를 엄밀하게 확인하거나 미래 행동을 엄밀하게 예측할 수 없다는 뜻이죠. 하지만 어쨌든 앞으로 나아가고 있습니다”라고 비판합니다.
현실적 제약을 강조하는 목소리
반대편에는 프린스턴 대학의 컴퓨터 과학자 사야시 카푸어(Sayash Kapoor)와 아르빈드 나라야난(Arvind Narayanan)이 있습니다. 그들의 저서 “AI Snake Oil“과 최근 논문 “AI as Normal Technology“에서 완전히 다른 관점을 제시합니다.
이들은 AI가 핵무기가 아닌 원자력 발전에 비유되어야 한다고 주장합니다. 원자력은 강력하지만 기존 안전 시스템과 규제를 통해 관리 가능하며, 오히려 안전상의 이유로 과소활용되고 있다는 것입니다.
나라야난과 카푸어가 강조하는 핵심은 현실 세계의 복잡성입니다. 지능만으로는 실용적 가치가 제한적이며, 진짜 중요한 것은 ‘환경을 수정할 수 있는 능력’, 즉 권력이라고 봅니다. 자율주행차를 예로 들면, 기술적으로는 놀라운 능력을 가지고 있지만 실제로는 소수의 도시에서만 제한적으로 운영되고 있습니다.
기술 확산의 현실적 속도
두 연구자는 혁신적인 기술도 사회에 ‘확산’되는 데 오랜 시간이 걸린다고 지적합니다. “AI 2027″에서는 2029년까지 ‘대부분 질병의 치료법’이 나올 가능성을 제시하지만, 카푸어와 나라야난은 이런 치료법을 개발하는 지적 작업이 AI로 가속화되더라도 실제 혜택을 누리기까지는 오랜 시간이 걸릴 것이라고 봅니다.
예를 들어, 중국 연구자들이 코로나19 바이러스 게놈을 해독한 후 모더나(Moderna)가 백신을 설계하는 데는 일주일도 걸리지 않았습니다. 하지만 실제 백신을 배포하는 데는 약 1년이 걸렸습니다. AI로 백신을 더 빠르게 설계할 수 있을지 모르지만, 인간의 생물학적 과정에 의존하는 임상시험은 여전히 시간이 필요합니다.
카푸어는 “소프트웨어 엔지니어링은 이름에 엔지니어링이 들어가지만, 다른 공학 분야와 단절된 역사를 가지고 있다”며, AI 안전 연구자들이 이미 우리를 안전하게 지키고 있는 시스템들을 과소평가할 수 있다고 지적합니다.
두 세계관의 차이점
뉴요커 기사는 이런 견해 차이의 근본적 원인을 흥미롭게 분석합니다:
- 지역적 차이: 서부 실리콘밸리 사고방식은 급속한 변화 비전에 끌리는 반면, 동부 학계는 이를 경계함
- 전문 분야: AI 연구자들은 빠른 실험적 진보를 믿는 반면, 다른 컴퓨터 과학자들은 이론적 엄밀함을 추구함
- 업계 관점: AI 업계 종사자들은 역사를 만들고 싶어하는 반면, 외부인들은 기술 과대광고에 지쳐있음
더 깊게는 인간이 무엇을 원하는지, 기술이 어떻게 진화하는지, 사회가 어떻게 변하는지, 마음이 어떻게 작동하는지, ‘사고’란 무엇인지에 대한 거의 표현되지 않은 근본적 견해 차이가 있습니다.
정책적 딜레마와 현실적 위험
이런 전문가 간 분열은 실질적 비용을 발생시키고 있습니다. 전문가들이 통합된 권고안을 제시할 때는 무시하기 어렵지만, 서로 대립하는 그룹으로 나뉘면 의사결정자들이 양쪽 모두를 무시하고 아무것도 하지 않기 쉬워집니다.
실제로 현재 미국에서는 AI 회사들이 제품의 능력과 안전성 균형을 실질적으로 바꾸지 않고 있으며, 최근 하원을 통과한 예산조정법안에는 주정부가 10년간 AI를 규제하는 것을 금지하는 조항이 포함되어 있습니다.
균형잡힌 접근법을 향해
뉴요커 기사는 마지막에 흥미로운 비유를 제시합니다. 공장 현장을 상상해보라고 합니다. “안전 제일!”이라는 팻말이 걸려 있고, 작업자들은 안전모와 고시인성 안전복을 착용합니다. 기계가 공장을 운영하는 것이 아니라 작업자들이 기계를 조작하며, 기계들은 생산성과 작업자 안전을 모두 고려해 설계되었습니다.
이 ‘인지적 공장’에서는 품질 관리에 많은 노력을 기울이고, 잘 자금을 지원받는 유지보수팀이 기계를 점검하고 필요에 따라 수정합니다. R&D 부서에서 유망한 업그레이드를 발명하더라도, 생산라인에 통합되기 전에 철저히 검증되고 작업자들과 상의를 거칩니다.
우리는 곧 이런 인지적 공장에서 일하게 될 것입니다. 기계가 우리의 사고 일부를 자동화할 수 있기 때문에 통제를 놓고 싶은 유혹이 있을 것입니다. 하지만 작업장 사고가 발생하거나 결함이 있는 제품이 판매될 때 누가 책임질 것인가요?
AI의 도착이 책임의 종료를 의미할 수는 없습니다. 오히려 그 반대입니다. 한 사람이 더 많은 일을 할 때, 그 사람은 더 많은 것에 대해 책임져야 합니다. 방에 사람이 적을 때 책임은 농축됩니다. 기계에서 손을 떼기로 결정하는 것도 결정입니다.
인공지능이 우리를 행위자로서의 부담에서 해방시켜주는 것처럼 보이는 것은 표면적일 뿐입니다. 실제로 AI는 우리가 결국 항상 책임자라는 것을 인식하도록 도전합니다.
결론: 현명한 준비가 필요한 시점
두 극단적 시각 모두에서 배울 점이 있습니다. 코코타일로의 경고는 AI 개발에서 안전성을 간과해서는 안 된다는 중요한 메시지를 담고 있습니다. 동시에 카푸어와 나라야난의 관점은 기존 안전 시스템과 현실적 제약을 무시해서는 안 된다는 점을 상기시킵니다.
결국 우리에게 필요한 것은 극단적 공포나 맹목적 낙관도 아닌, 균형잡힌 준비 자세입니다. AI는 분명 강력한 기술이지만, 그 힘을 어떻게 사용할지는 여전히 우리의 선택에 달려 있습니다. 중요한 것은 이 선택을 현명하게 하는 것입니다.
참고자료: Two Paths for A.I. (The New Yorker)
Comments