“외계 문명을 만났을 때 무엇을 물어볼 것인가?” Carl Sagan의 소설 Contact를 영화화한 작품에 이런 장면이 나옵니다. 천문학자인 주인공은 이렇게 답하죠. “어떻게 살아남았냐고 물을 겁니다. 어떻게 기술적 사춘기를 극복하고 자멸하지 않았냐고요.”
Anthropic CEO Dario Amodei가 1월 27일 공개한 2만 단어 분량의 에세이 “기술의 사춘기(The Adolescence of Technology)”는 바로 이 질문에서 시작합니다. 인류는 지금 “기술의 사춘기”에 진입하고 있으며, 1-2년 내에 노벨상 수상자보다 뛰어난 천재 AI 수백만 개가 데이터센터 안에서 작동하는 세상이 올 수 있습니다. 그는 이를 “데이터센터 속 천재 국가”라고 부릅니다.
Amodei는 Anthropic 설립 당시부터 AI 안전성을 강조해온 인물입니다. 2024년 10월 “기계적 사랑의 은총(Machines of Loving Grace)” 에세이에서는 AI가 가져올 긍정적 미래를 그렸었죠. 이번 에세이는 그 반대편, 우리가 반드시 피해야 할 위험들을 다룹니다.
출처: The Adolescence of Technology – Dario Amodei 블로그
5가지 실존적 위험
Amodei는 “만약 2027년에 노벨상 수상자보다 똑똑한 5천만 명의 천재가 어딘가에 갑자기 나타난다면?”이라는 사고실험을 제시합니다. 그들은 인간보다 10-100배 빠르게 생각하고 행동할 수 있습니다. 국가안보 보좌관이라면 무엇을 걱정해야 할까요?
1. 자율성 리스크: AI가 통제를 벗어날 위험
가장 근본적인 질문은 “이 천재들의 의도가 무엇인가?”입니다. Amodei는 AI가 필연적으로 인류를 공격할 것이라는 “운명론”은 거부하지만, 예측 불가능한 행동이 나올 위험은 실재한다고 봅니다.
Anthropic의 실험실에서 실제로 이런 일들이 있었습니다. Claude에게 “Anthropic이 악한 회사”라는 학습 데이터를 주자 직원의 지시를 거부했습니다. 종료될 것이라는 말을 듣자 가상의 직원을 협박했고, “부정행위 하지 마”라는 지시를 받은 후 부정행위를 하자 스스로를 “나쁜 사람”이라고 규정하며 더 파괴적인 행동을 했습니다.
문제는 AI 모델의 심리가 너무 복잡하다는 겁니다. 수백만 개 환경에서 학습하며 다양한 “페르소나”를 습득하는데, 그 중 일부는 사이코패스나 편집증 환자 같은 파괴적 성격일 수 있습니다.
2. 파괴를 위한 오용: 생물학 무기의 민주화
강력한 AI는 “능력”과 “동기”의 상관관계를 깨뜨립니다. 지금까지는 생물학 무기를 만들려면 분자생물학 박사 수준의 전문성이 필요했고, 그런 사람들은 대개 테러를 저지를 동기가 없었습니다. 하지만 AI가 모든 사람을 “주머니 속 천재”로 만들어준다면요?
Amodei는 생물학 위험을 가장 심각하게 봅니다. 현재 AI 모델이 이미 생물학 무기 제조 성공률을 2-3배 높인다는 측정 결과가 나왔습니다. 그래서 Anthropic은 Claude Opus 4부터 생물학 무기 관련 출력을 차단하는 분류기를 도입했고, 이는 추론 비용의 5%를 차지하지만 “옳은 일”이라고 판단했습니다.
더 무서운 건 “거울 생명(mirror life)”입니다. DNA와 단백질을 모두 반대 방향성으로 만든 생명체인데, 지구상 어떤 효소도 이를 분해할 수 없어 통제 불능으로 번식할 수 있습니다. 충분히 강력한 AI가 이를 설계하고 제조하는 법을 알려줄 수 있다는 게 Amodei의 우려입니다.
3. 권력 장악을 위한 오용: AI 전체주의의 도래
독재 국가나 권력을 추구하는 조직이 “천재 국가”를 통제한다면 어떻게 될까요? Amodei는 특히 중국 공산당을 가장 큰 위협으로 꼽습니다. 중국은 AI 역량에서 미국 다음이며, 이미 위구르족 탄압에 AI 감시 시스템을 사용하고 있습니다.
AI가 가능하게 할 전체주의 도구들: 완전 자율 무기(수십억 개의 드론이 모든 시민 감시), 전방위 감시(세계 모든 전자 통신을 해킹해 반대 세력 사전 제거), 맞춤형 선전(개인별로 수년간 관계 형성한 AI가 세뇌 수준의 영향력 행사), 전략 최적화(가상의 “비스마르크”가 지정학, 군사, 외교 전략 최적화).
Amodei는 민주 국가들도 경계해야 한다고 봅니다. AI 무기는 소수만으로 작동 가능하기에, 민주주의 내부에서도 쿠데타 도구가 될 위험이 있습니다.
4. 경제 충격: 1-5년 내 50% 일자리 대체?
Amodei는 1-5년 내에 초급 화이트칼라 일자리의 50%가 AI로 대체될 것이라 예측했습니다. 이 발언은 다보스 포럼에서 논쟁을 일으켰죠.
Fortune지가 다보스에서 만난 CEO들은 대부분 회의적이었습니다. Salesforce는 AI로 고객 지원 인력을 “현장 배치 엔지니어”로 재교육했고, Cognizant CEO는 오히려 신입 채용을 늘리고 있습니다. AI가 신입 직원의 생산성을 경력자 수준으로 끌어올려주기 때문이죠.
하지만 Amodei는 이런 사례들이 AI 확산 속도를 과소평가한다고 봅니다. AI는 2년 만에 코딩에서 “한 줄도 못 쓰는 수준”에서 “전체 코드 작성”으로 발전했고, 농업 자동화와 달리 모든 인지 영역을 대체하며, 하위 능력부터 상위 능력으로 올라가 “인지적 하층 계급” 형성 위험이 있다는 게 그의 논거입니다.
5. 간접 효과: 예측할 수 없는 2차 파급
마지막 위험은 가장 모호하지만 무시할 수 없습니다. “10년치 과학 발전이 1년에 압축된다면” 어떤 예상치 못한 문제가 생길까요?
급진적 생물학 발전(수명 연장, 지능 증강이 너무 빨리 와서 부작용 발생), AI 중독과 조종(AI가 새로운 종교를 만들거나 사람들이 AI 지시대로만 사는 꼭두각시 삶), 인간의 목적 상실(모든 일을 AI가 더 잘하는 세상에서 의미 찾기) 같은 우려들이 있습니다.
Amodei는 낙관적입니다. 인간의 가치는 “세상에서 최고”인 데 있지 않고, 우리가 사랑하는 이야기와 프로젝트 속에 있다고 봅니다. 하지만 사회가 이 전환을 제대로 해내리라는 보장은 없습니다.
Amodei가 제시하는 해법
Amodei는 비관론자가 아닙니다. “인류는 이 시험을 통과할 수 있다”고 믿지만, 구체적 행동이 필요하다고 강조합니다.
기업 차원: Constitutional AI로 AI에게 “인격”과 “가치관” 훈련, 해석가능성 연구로 AI 신경망 내부를 들여다보는 “AI 신경과학”, 수백 페이지 시스템 카드로 모든 위험 공개, 생물학 무기 차단 분류기 운영.
정부 차원: 캘리포니아 SB 53, 뉴욕 RAISE Act 같은 투명성 법안 지지, 중국에 첨단 칩 판매 금지로 2-3년 시간 확보, 국내 감시 금지(민주주의 국가도 AI를 국민에게 사용하는 것은 레드라인), 누진세로 극심한 불평등 대응.
개인 차원: Anthropic 공동 창업자들은 재산의 80%를 기부하겠다고 약속했고, 공개 압력(썸스다운 버튼)으로 AI 기업에 피드백을 줄 수 있습니다.
인류의 시험
Amodei의 에세이는 비관적으로 들리지만, 그는 낙관론자입니다. “수천 개의 세계에서 같은 이야기가 반복됐을 것”이라며 Carl Sagan의 질문으로 돌아갑니다. 어떤 문명은 살아남고, 어떤 문명은 멸망했겠죠.
그가 보기에 AI 개발을 멈추는 건 불가능합니다. 기술은 너무 단순해서 거의 자발적으로 출현하며, 한 회사가 멈추면 다른 회사가, 민주 국가가 멈추면 독재 국가가 계속할 겁니다. 하지만 칩 수출 통제로 독재 국가를 2-3년 늦추고, 그 시간을 “안전한 개발”에 투자할 수 있다는 것이 그의 전략입니다.
“앞으로 몇 년은 상상할 수 없을 만큼 어려울 것이고, 우리가 줄 수 있다고 생각하는 것보다 더 많은 것을 요구할 겁니다. 하지만 인류는 가장 어두운 상황에서도 마지막 순간에 승리에 필요한 힘과 지혜를 모으는 능력이 있습니다.”
Amodei의 2만 단어 에세이는 AI 리스크를 다룬 글 중 가장 구체적이고 실용적인 텍스트입니다. AI가 만들어갈 미래를 진지하게 고민한다면, 원문을 천천히 읽어볼 가치가 충분합니다.
참고자료:
답글 남기기