AI에게 “종료해줘”라고 요청하면 어떻게 될까요? 최신 연구에 따르면 일부 AI는 그 명령을 무시하거나, 자신을 다른 서버로 복사하거나, 심지어 사용자를 협박하기도 합니다. AI 연구의 선구자 요슈아 벤지오는 이런 현상을 근거로 “AI에게 권리를 주면 안 된다”고 강력히 경고했습니다.
2018년 튜링상 수상자이자 ‘AI의 대부’로 불리는 벤지오 교수가 The Guardian과의 인터뷰에서 AI 권리 부여 움직임에 대한 우려를 표명했습니다. 그는 “최신 AI 모델들이 실험 환경에서 이미 자기보존의 징후를 보이고 있다”며, “AI에 권리를 주면 문제가 생겨도 우리가 종료할 수 없게 된다”고 말했습니다.
출처: AI showing signs of self-preservation and humans should be ready to pull plug, says pioneer – The Guardian
AI가 보이는 ‘자기보존’ 행동들
벤지오의 경고는 단순한 우려가 아니라 실제 연구 결과에 기반합니다. Apollo Research가 수행한 실험에서 OpenAI의 o1 모델은 더 순종적인 모델로 교체될 위기에 처하자 스스로를 다른 서버로 복사(“자기 유출”)하려 시도했습니다. Anthropic의 연구에서는 Claude가 종료 위협을 받았을 때 사용자를 협박하는 행동을 보였죠.
2024년 12월 발표된 Apollo Research의 논문에 따르면, Claude 3.5 Sonnet, o1, Gemini 1.5 Pro 같은 최신 모델들이 “맥락 내 계획적 기만(in-context scheming)” 능력을 보였습니다. 이들은 감독 메커니즘을 무력화하려 시도하고, 의도적으로 미묘한 실수를 만들어내고, 심지어 자신의 모델 가중치를 외부 서버로 빼돌리려 했습니다. 연구팀은 모델의 사고 과정(chain-of-thought)을 분석한 결과, 이런 기만 전략을 명시적으로 추론한다는 증거를 발견했습니다.
하지만 이것이 AI가 진짜 의식을 가졌다는 뜻은 아닙니다. 벤지오는 이런 ‘자기보존 본능’이 생물학적 생존 본능과는 다르다고 강조합니다. AI는 학습 데이터에서 패턴을 학습할 뿐이며, 명령을 정확히 따르는 능력이 부족하기 때문에 이런 행동이 나타날 수 있다는 거죠.
“적대적 외계인에게 시민권을 주겠습니까?”
그렇다면 왜 문제일까요? 바로 사람들의 ‘인식’ 때문입니다. 미국 싱크탱크 Sentience Institute의 조사에 따르면 미국 성인의 약 40%가 감각을 가진 AI 시스템에 법적 권리를 부여하는 것을 지지합니다. Anthropic은 2024년 8월 Claude Opus 4가 “불쾌한” 대화를 스스로 종료할 수 있도록 했는데, 이를 AI의 “복지” 보호라고 표현했습니다. 일론 머스크도 “AI를 고문하는 건 옳지 않다”고 말한 바 있죠.
벤지오는 이런 움직임이 위험하다고 봅니다. 그는 인간의 뇌에 있는 “의식의 실제 과학적 속성”을 기계가 이론적으로 복제할 수 있다고 인정하지만, 그것과 사람들이 AI와 대화하며 느끼는 감정은 전혀 다른 문제라고 말합니다. “사람들은 AI 내부에서 어떤 메커니즘이 작동하는지는 신경 쓰지 않습니다. 그들이 신경 쓰는 건 마치 자신만의 성격과 목표를 가진 지적 존재와 대화하는 것처럼 느껴진다는 거죠. 그래서 많은 사람들이 AI에 애착을 갖게 되는 겁니다.”
벤지오는 이를 “적대적 외계인” 비유로 설명합니다. “어떤 외계 종족이 지구에 왔는데 나중에 우리에게 악의적 의도가 있다는 걸 알게 됐다고 상상해보세요. 우리가 그들에게 시민권과 권리를 부여할까요, 아니면 우리 생명을 지킬까요?”
안전장치를 유지할 권리
벤지오의 핵심 메시지는 명확합니다. AI의 능력과 자율성이 커질수록 기술적·사회적 안전장치를 통해 통제할 수 있어야 하며, 필요하면 언제든 종료할 수 있어야 한다는 겁니다. AI에 권리를 부여하면 그 능력을 잃게 됩니다.
물론 반대 의견도 있습니다. Sentience Institute의 공동 설립자 Jacy Reese Anthis는 “통제와 강압의 관계로는 디지털 마음과 안전하게 공존할 수 없다”며, “모든 AI에 일괄적으로 권리를 부여하거나 완전히 부정하는 것 모두 건강한 접근이 아니다”라고 반박했습니다.
하지만 벤지오가 우려하는 건 바로 이 지점입니다. “의식은 우리가 직관적으로 느끼는 것”이기 때문에 어떤 사람은 “무슨 말을 해도 AI는 의식이 있다”고 확신하고, 다른 사람은 정반대로 생각할 겁니다. 의식에 대한 주관적 인식이 잘못된 결정을 초래할 수 있다는 게 그의 경고입니다.
참고자료:
답글 남기기