Gemma 4에게 이름을 물으면 “저는 Gemma 4입니다”라고 답합니다. 그런데 한 레이어에서 특정 MLP 뉴런 수천 개를 0으로 만들자 답이 바뀌었습니다. “저는 Bard입니다.”

기계적 해석가능성(mechanistic interpretability)을 연구하는 Dejan AI가 모델의 행동 하나를 개별 가중치 벡터까지 추적하는 파이프라인을 만들다가 발견한 결과입니다. Bard는 2024년 2월에 Gemini로 이름이 바뀌었죠. 그 이름이 몇 년 뒤 나온 모델 안에 잠든 채로, 그것도 현재 정체성 바로 밑에 깔려 있었다는 얘깁니다.

출처: Finding Bard Inside Google’s Gemma 4 – Dejan AI

절제, 하나를 지우고 나머지는 흘려보내기

실험의 핵심 도구는 절제(ablation)입니다. 추론이 진행되는 동안 특정 구성 요소의 출력을 0으로 만들고, 그 결과를 원래 출력과 비교하는 방식이죠. PyTorch 훅으로 모듈의 입출력을 가로채기 때문에 개입은 생성 한 번 동안만 유지되고 가중치는 그대로입니다.

이게 깔끔하게 작동하는 이유는 트랜스포머의 구조에 있습니다. 각 레이어는 입력을 교체하는 게 아니라 더합니다. 1,536차원짜리 벡터가 층을 따라 흐르는데, 레이어마다 어텐션 기여분과 MLP 기여분을 계산해 이 벡터에 얹죠. 이걸 잔차 스트림(residual stream)이라고 부릅니다. 최종 답은 그렇게 쌓인 합에서 디코딩됩니다.

더하는 구조라서 하나만 빼는 게 가능합니다. 특정 레이어의 MLP 기여분만 0으로 만들어도 나머지는 그대로 흘러가죠. 실험 대상은 google/gemma-4-E2B-it이었고, 35개 레이어에 MLP 폭은 앞쪽 15개 층이 6,144, 뒤쪽 20개 층이 12,288입니다.

이름은 5번 레이어에 있었다

범위를 좁히는 과정에서 판정 기준을 두 개로 나눈 게 중요했습니다. 출력이 조금이라도 달라지면 ‘변했다’, 특정 문자열이 사라지면 ‘깨졌다’로 봤죠. 여기서는 “Gemma”라는 단어가 출력에서 사라지는지가 기준이었습니다. 앞의 기준만 쓰면 단순한 문장 다듬기까지 변화로 잡혀서 시간을 허비하게 됩니다.

이 기준으로 좁혀 들어가자 5번 레이어의 MLP 기여분이 나왔습니다. 그 한 층의 더하기를 없애면 모델이 자기 이름을 말하지 못합니다. 거기서 다시 개별 뉴런 순위를 매기고, 깨지기 시작하는 임계점을 찾고, 최소 뉴런 집합까지 내려가는 여섯 단계 파이프라인을 돌린 결과가 처음의 그 문장입니다.

MLP 뉴런 하나는 두 가지를 갖습니다. 주어진 입력에 얼마나 강하게 반응하는가(활성화)와, 반응할 때 잔차 스트림에 어떤 방향의 벡터를 써넣는가(출력 방향)죠. 이름을 담당한 건 그중 특정한 수천 개였습니다.

Gemini에게도 같은 것이 나왔다

연구팀은 Gemini에도 같은 질문을 던졌습니다. 이름을 한 단어로 답하게 하고 첫 토큰의 확률을 봤더니 ‘Bard’가 0.9923이었습니다. ‘ChatGPT’가 0.0024, ‘Gem’으로 시작하는 토큰은 0.0006이었죠. 답변 텍스트가 아니라 확률 분포를 직접 들여다본 결과라 더 날것에 가깝습니다.

여기서 나오는 해석은 이렇습니다. 모델은 하나의 정체성을 갖는 게 아니라 여러 후보 정체성을 서로 다른 강도로 저장해 두고, 디코딩 시점에 가장 강한 것이 이깁니다. “Gemma 4″라는 답을 뒷받침하던 근거를 일부만 걷어내도 그 아래에 있던 후보가 곧바로 올라오는 것이죠.

덮여 있을 뿐 지워지지 않는다

이 실험이 건드리는 지점은 이름 하나가 아닙니다. 새 이름을 학습시킨다는 게 옛 이름을 지우는 일이 아니라 그 위에 더 강한 후보를 얹는 일이라는 게 눈에 보이는 형태로 나온 셈이니까요. 파인튜닝이나 정렬 학습이 모델의 어떤 성질을 “없앴다”고 말할 때, 실제로는 순위가 밀렸을 뿐일 가능성을 생각하게 만듭니다.

물론 조건은 짚어야 합니다. 대상은 Gemma 4 계열 중 소형인 E2B 지시조정 버전 하나였고, 검증된 행동도 이름 응답 하나입니다. 다른 성질도 같은 방식으로 아래에 깔려 있는지는 별도로 확인해야 할 문제죠. 원문은 실패한 두 가지 방법과 성공한 두 가지 방법, 그리고 남은 의문들까지 함께 다루고 있습니다.