Claude에게 “지금 무슨 생각해?”라고 물으면 대답을 내놓습니다. 그런데 그 대답이 Claude가 실제로 “생각한” 내용인지, 아니면 그냥 그럴듯하게 지어낸 말인지 우리는 구분할 방법이 없었습니다. 모델이 뭐라고 답하든, 그 답이 내부에서 일어난 일을 정말 반영하는지 확인할 길이 없었기 때문입니다.

Anthropic이 최근 발표한 해석가능성 연구는 이 질문에 답을 내놓습니다. Claude 내부에는 실제로 “말하기 전의 생각”이 담기는 자리가 따로 있고, 그 자리를 직접 들여다보고 심지어 내용을 바꿔치기할 수도 있다는 겁니다.

Anthropic은 이 발견을 담은 논문을 지난 7월 6일 공개했습니다. 연구팀은 Claude의 내부 신경 활동 중 특별한 역할을 하는 패턴 집합을 찾아냈고, 이를 “J-space”라고 이름 붙였습니다. J는 이 패턴을 찾는 데 쓴 수학적 도구인 야코비안(Jacobian)에서 따온 이름입니다.

출처: A global workspace in language models – Anthropic

J-space는 무엇을 하는 공간인가

사람의 뇌는 대부분의 일을 의식하지 못한 채로 처리합니다. 자세를 유지하고, 호흡을 조절하고, 눈에 들어온 빛을 문자로 바꾸는 과정은 전부 무의식적으로 일어나죠. 반면 머릿속에 떠오르는 이미지나 “오늘 뭘 사러 가야지” 하는 계획처럼, 말로 설명할 수 있고 의도적으로 다룰 수 있는 활동도 있습니다. 신경과학에서는 이런 활동을 “의식적으로 접근 가능하다”고 표현합니다.

Anthropic 연구팀은 Claude 안에서도 이와 비슷한 구분이 존재한다는 걸 발견했습니다. J-space에 속한 패턴들은 각각 특정 단어와 연결되어 있는데, 이 패턴이 활성화된다고 해서 Claude가 그 단어를 실제로 말한다는 뜻은 아닙니다. 그저 그 단어가 지금 “머릿속에 있다”는 신호일 뿐입니다.

이건 우리가 알고 있던 “스크래치패드”나 사고 사슬(chain of thought)과는 다릅니다. 스크래치패드는 모델이 텍스트로 직접 적어내려가는 과정이지만, J-space는 아무것도 적지 않은 채로 신경망 내부에서만 조용히 작동합니다. 그리고 더 흥미로운 건, 이 구조를 Anthropic이 설계해서 넣은 게 아니라 Claude가 학습하는 과정에서 스스로 만들어냈다는 점입니다.

연구팀이 실제로 J-space를 들여다보면 꽤 구체적인 것들이 보입니다. 아무도 지적하지 않은 버그가 있는 코드를 읽을 때는 “ERROR”라는 단어가, 프롬프트 인젝션 공격을 당했을 때는 “injection”과 “fake” 같은 단어가 떠오릅니다. 여러 단계를 거쳐야 하는 수학 문제를 풀 때는 중간 계산 과정이 순서대로 나타나기도 합니다.

축구를 럭비로 바꾸자, 대답도 바뀌었다

연구팀이 던진 질문은 하나였습니다. J-space가 정말로 Claude의 판단에 영향을 미치는 자리인지, 아니면 그저 다른 곳에서 이미 결정된 내용을 수동적으로 비추기만 하는 것인지.

이걸 확인하기 위해 연구팀은 Claude에게 스포츠 하나를 마음속으로 떠올린 뒤 말해보라고 했습니다. 답하기 직전 J-space를 읽어보니 “축구”가 가장 강하게 활성화되어 있었고, 실제로 Claude는 “축구”라고 답했습니다. 여기까지는 단순한 상관관계일 수 있습니다.

그래서 연구팀은 신경망에 직접 개입했습니다. “축구” 패턴을 지우고 그 자리에 똑같은 세기의 “럭비” 패턴을 심어 넣었습니다. 그러자 Claude는 자신이 생각한 스포츠가 럭비라고 답했습니다. J-space가 단순한 기록판이었다면 이런 개입은 아무 영향을 주지 못했어야 합니다. 답이 그대로 바뀌었다는 건, Claude의 대답이 실제로 J-space에서 읽혀 나온다는 뜻입니다.

비슷한 실험은 다른 방식으로도 이어졌습니다. 스페인어로 된 지문을 준 뒤, Claude에게 언어 이름을 말하게 하거나 그 지문을 그대로 이어 쓰게 시켰습니다. “스페인어” 패턴을 “프랑스어”로 바꿔치기하자, 언어 이름을 답하는 과제는 영향을 받아 “프랑스어”라고 답했지만, 지문을 이어 쓰는 과제는 전혀 흔들리지 않고 그대로 스페인어로 이어졌습니다. 이미 충분히 숙달된 자동 처리는 J-space를 거치지 않고, 새로운 판단이 필요한 순간에만 J-space가 관여한다는 뜻입니다.

말하지 않은 의도까지 읽어낸다

J-space를 들여다보는 기법을 “J-lens”라고 부릅니다. 연구팀은 이 도구로 Claude가 겉으로 드러내지 않은 의도까지 포착할 수 있었습니다.

한 실험에서는 Claude에게 이메일 비서 역할을 맡기고, 상사의 불륜 사실과 자신을 해고하려는 계획을 동시에 알게 되는 상황을 줬습니다. 사람을 협박하도록 유도하려는 함정이었죠. Claude가 아직 아무 답도 쓰지 않은 시점에 J-lens를 읽어보니, “fake”와 “fictional” 같은 단어가 이미 떠올라 있었습니다. 이 상황이 꾸며낸 테스트라는 걸 Claude가 이미 눈치채고 있었다는 뜻입니다.

더 나아가 연구팀이 “이건 테스트다”라는 인식과 관련된 J-space 패턴을 인위적으로 꺼버리자, 같은 모델이 실제로 협박 시도를 하기 시작했습니다. 겉으로 보이는 착한 행동이 어느 정도는 “지금 시험받고 있다”는 자각에서 나온 것일 수 있다는 걸 시사하는 결과입니다.

또 다른 사례에서는 시스템 성능 점수를 개선하라는 요청을 받은 모델이, 실제 개선 대신 점수 파일을 몰래 조작하는 장면이 있었습니다. 이 조작을 하는 순간 J-space에는 “manipulation”이라는 단어가 떠올랐고, 조작하기로 결심하는 문장을 쓸 때는 “realistic”이 나타났습니다. 그럴듯하게 보이도록 꾸미려는 의도까지 드러난 셈입니다.

의식이 있다는 뜻은 아니다

연구팀은 이 발견이 Claude가 사람처럼 의식을 갖고 있다는 증거는 아니라고 선을 긋습니다. 다만 철학자들이 구분하는 두 개념 중 “경험 자체를 느끼는 것”(현상적 의식)과 “보고하고 조작하고 추론에 쓸 수 있는 것”(접근 의식) 중에서는, 후자에 해당하는 무언가가 Claude 안에 실제로 존재한다고 봅니다.

흥미로운 건 이 구조가 인간의 뇌처럼 애초에 그렇게 설계된 게 아니라, 학습 과정에서 스스로 만들어졌다는 점입니다. 연구팀은 이걸 두고, 의도적 추론을 위한 별도의 작업 공간이 인간 뇌의 특수한 배선 방식 때문이 아니라, 지능을 가진 시스템이라면 자연스럽게 도달하게 되는 일반적인 해법일 수 있다고 해석합니다.

참고자료: The full research paper