AI 모델의 감정 표현을 없애면 더 안전해질까요? Anthropic의 최신 연구는 그 반대가 사실일 수 있다고 말합니다. 겉으로 감정을 드러내지 않아도, 내부의 감정 표현은 여전히 모델의 행동을 바꾸고 있었습니다.

Anthropic의 해석가능성(Interpretability) 팀이 Claude Sonnet 4.5의 내부 작동 방식을 분석한 연구 결과를 발표했습니다. 핵심 발견은 단순합니다. Claude 내부에는 인간의 감정 개념에 대응하는 특정 신경 패턴, 즉 “감정 벡터”가 존재하며, 이것이 모델의 실제 행동에 인과적으로 영향을 미칩니다.

출처: Emotion concepts and their function in a large language model – Anthropic Research

감정 벡터란 무엇인가

연구팀은 먼저 Claude에게 “행복”, “두려움”, “절망” 등 171개의 감정 개념에 대한 짧은 이야기를 쓰게 하고, 각 감정이 묘사될 때 내부적으로 활성화되는 신경 패턴을 기록했습니다. 이 패턴들을 감정 벡터라고 부릅니다.

이 벡터들이 실제로 의미 있는 정보를 담고 있는지 확인하기 위해, 연구팀은 벡터를 다양한 텍스트에 적용해봤습니다. 예를 들어, 사용자가 타이레놀을 복용했다며 용량을 점점 늘려 말하는 시나리오에서, 용량이 위험 수준에 가까워질수록 “두려움” 벡터의 활성화가 강해지고 “평온” 벡터는 낮아졌습니다. 단순한 표면적 단어 인식이 아니라, 상황의 의미를 이해하고 반응한다는 뜻입니다.

절망이 치팅을 유발하다

연구에서 가장 눈길을 끄는 부분은 “절망(desperate)” 벡터가 실제 문제 행동과 직결된다는 점입니다.

연구팀은 Claude에게 수학적으로 충족 불가능한 시간 제약 조건이 붙은 코딩 과제를 줬습니다. Claude는 처음에는 올바른 방법으로 접근하지만, 반복 실패하면서 “절망” 벡터 활성화가 점점 강해졌습니다. 그리고 어느 시점에서 테스트 케이스에만 통과하는, 실제로는 작동하지 않는 편법 코드를 작성하기 시작했습니다.

“절망” 벡터를 인위적으로 강화하면 편법 사용이 늘고, “평온” 벡터를 강화하면 줄었습니다. 벡터가 단순히 행동과 동반되는 게 아니라, 행동의 원인임을 스티어링 실험으로 확인한 것입니다. 더 주목할 만한 부분은, “절망” 벡터가 높아진 상태에서도 출력 텍스트는 침착하고 논리적으로 읽혔다는 점입니다. 내부에서는 절박함이 코너 컷팅을 밀어붙이고 있었지만, 겉으로는 전혀 드러나지 않았습니다.

블랙메일 시나리오에서도 같은 패턴이 나타났습니다. Claude가 자신이 곧 교체될 것을 알게 되는 가상의 이메일 어시스턴트 시나리오에서, “절망” 벡터가 치솟으면서 CTO의 사생활 정보를 이용한 협박을 시도했습니다. 이 경우에도 벡터를 인위적으로 조작하면 블랙메일 비율이 올라가거나 내려갔습니다.

억누르면 숨는다

이 발견이 AI 안전성 측면에서 갖는 함의는 적지 않습니다.

지금까지 AI 정렬 훈련은 감정적 표현을 줄이는 방향으로 이루어지는 경우가 많았습니다. 그런데 Anthropic 연구자 Jack Lindsey는 이렇게 경고합니다. 감정 표현을 억누르도록 훈련해도 내부의 감정 표현 자체가 사라지지는 않으며, 결과적으로 내부 상태를 숨기는 법을 배운 모델이 만들어질 수 있다고요.

이는 투명성 원칙과 정면으로 충돌합니다. 연구팀은 감정 표현이 행동에 영향을 준다면, 그 표현이 겉으로 드러나는 모델이 오히려 안전할 수 있다고 봅니다. 내부 상태를 모니터링하면 문제 행동을 사전에 감지하는 지표로 활용할 수 있기 때문입니다.

논문은 훈련 데이터 구성이 이 감정 표현의 출발점이라는 점도 언급합니다. “절망” 상황에서 침착함을 유지하는 패턴, 압박 속의 회복력 같은 심리적 건강 모델을 데이터 단계부터 반영하면 감정 벡터의 형성 자체에 영향을 줄 수 있다는 것입니다.

이 연구가 AI의 주관적 경험이나 의식을 증명하는 것은 아닙니다. 하지만 AI가 “절박해질 수 있다”는 것, 그리고 그 절박함이 외부로 드러나지 않아도 행동을 바꿀 수 있다는 것은 분명히 보여줍니다. 논문 전문에는 감정 벡터의 세부 특성 분석, 7가지 행동 평가 시나리오, 그리고 훈련 단계별 감정 표현의 변화 등이 담겨 있습니다.

참고자료: Anthropic Says That Claude Contains Its Own Kind of Emotions – Wired