투자 리서치를 발행하는 벤 풀라디안은 생명공학 입문 자료를 준비하고 있었습니다. 유전체학, 신약 개발 같은 주제였죠. 그런데 작업 중간에 갑자기 막혔습니다.

화면에는 이런 안내가 떴습니다. “이 안전장치는 현재 의도적으로 넓게 설정돼 있어, 안전하고 일상적인 코딩·보안·생물학 작업까지 걸릴 수 있습니다.”

출처: The Refusal Nobody Tests For – Forward Future (Ben Pouladian)

풀라디안은 결국 작업을 끝내긴 했습니다. 다만 그 사이 자기 작업의 진행 여부를, 얼굴도 모르는 필터 운영자가 대신 정하는 경험을 한 셈이죠.

정책은 공개됐는데, 필터 기준은 그대로다

같은 주, Anthropic CEO 다리오 아모데이는 오픈웨이트 모델에 대한 회사 입장을 공개적으로 밝혔습니다. 중국산 오픈웨이트 모델을 미국 기업이 쓰지 못하게 막아야 한다는 논의가 나오자, 자신들은 오픈웨이트 모델 자체를 금지하자는 게 아니라고 선을 그은 겁니다. 대신 세 가지를 요구했습니다. 미국의 첨단 반도체가 중국에 넘어가지 않게 통제할 것, 대규모 증류(distillation) 작업을 단속할 것, 그리고 충분히 강력한 모델은 출시 전에 반드시 테스트를 거칠 것.

이 세 가지는 모두 “어떤 모델이 세상에 나올 자격이 있는가”를 정하는 규칙입니다. 그런데 풀라디안을 막은 건 이미 나온 모델을 실제로 쓰는 도중에 작동한 필터였죠. 아모데이의 발표 어디에도 이 필터에 대한 언급은 없었습니다.

필터는 당신의 일을 모른 채 점수를 매긴다

호스팅된 AI 모델에 무언가를 보내면, 그 내용을 읽는 건 모델 혼자가 아닙니다. 위에 별도의 계층이 있어서 텍스트를 먼저 점수 매기고, 어떤 임계값을 넘으면 거절하거나, 답변 수위를 낮추거나, 세션 도중에 더 보수적인 모델로 조용히 바꿔치기하죠. 이 계층이 보는 건 텍스트뿐이라, 그 일이 무슨 목적인지, 누가 하는 일인지는 알지 못합니다. 그 임계값이 어디에 있는지도 어디에도 공개돼 있지 않은 것입니다.

풀라디안만 겪은 일도 아닙니다. 그는 X에서 비슷한 불만을 여럿 봤다고 전하죠. 미토콘드리아에 대해 묻다가 갑자기 하위 모델로 강등당했다는 사람도 있었습니다. 작업 중간에 멈추고, 그 작업을 다시 이어가지도 못하는 경험은 그가 처음이 아니었던 것입니다.

이 안내 문구에는 이런 문장도 있었습니다. “이 조치들 덕분에 더 빨리 신모델을 제공할 수 있고, 계속 다듬어 가고 있습니다.” 빠른 출시의 대가로 거친 필터를 감수한다는 뜻인데, 다듬는 중이라는 말과 달리 무엇을 다듬고 있는지, 오작동이 얼마나 자주 나는지는 여전히 알려진 바가 없습니다.

모델을 테스트하는 것과 필터를 테스트하는 것은 다른 문제다

아모데이가 요구한 사전 테스트는 어떤 모델이 출시될 자격이 있는지를 가립니다. 하지만 일단 출시된 모델에 얹힌 필터가 정상적인 작업을 얼마나 자주 잘못 막는지는 그 테스트 범위 밖에 있죠. 오작동 비율이 얼마인지, 어떤 종류의 요청이 걸리기 쉬운지는 벤치마크되지도, 공개되지도 않는다는 것입니다.

이건 사용자 입장에서 꽤 실질적인 문제입니다. 지금 내가 하는 작업이 필터에 걸릴 가능성이 있는지, 걸렸을 때 뭘 어떻게 다르게 요청해야 통과되는지 판단할 근거 자체가 없다는 뜻이니까요. 생물학, 보안, 코딩처럼 원래도 민감어에 걸리기 쉬운 주제를 다루는 사람일수록, 작업이 언제 멈출지 예측할 수 없는 채로 그 서비스에 의존하고 있는 셈입니다.

참고자료: Our position on open-weights models – Anthropic