토큰 하나 만드는 데 16초. 그것도 애플 실리콘 맥북 한 대, 램 64기가바이트짜리 기계에서죠. 돌리는 모델은 2.8조 파라미터짜리 Kimi K3고요.

개발자 gavamedia가 만든 개인 연구 프로젝트 Deltafin은 이 조합을 실제로 성립시킵니다. 모델 가중치 용량만 1.56테라바이트, 웬만한 맥북의 디스크 여유 공간보다도 큰 모델을 굳이 한 대의 노트북에 욱여넣은 실험인 것. 빠르지는 않지만, 같은 프롬프트를 넣으면 언제나 같은 결과가 정확히 나오네요.

출처: GitHub – gavamedia/deltafin – gavamedia

램에 다 못 올리는 모델이 어떻게 돌아가나

일반적인 LLM이라면 이야기가 여기서 끝났을 겁니다. 모델을 구동하려면 파라미터를 전부 메모리에 올려야 하고, 2.8조 개면 램 몇백 기가바이트로도 부족하니까요. Kimi K3는 다르죠. MoE(전문가 혼합, Mixture-of-Experts) 구조라 토큰 하나를 만들 때마다 전체 파라미터 중 극히 일부만 사용한다는 것.

구체적으로는 레이어 하나당 92개 레이어에 걸쳐 16개의 “전문가”만 골라 씁니다. K3 전체에는 8만 2,432개의 전문가가 있는데, 이 중 정말 필요한 조각만 그때그때 불러오면 되는 셈이죠. Deltafin은 이 원리를 그대로 이용합니다. 자주 쓰이는 핵심 부위(어텐션, 임베딩 등 약 114기가바이트)는 로컬 디스크에 상주시켜두고, 나머지 전문가들은 필요할 때마다 디스크 캐시나 네트워크에서 읽어오네요.

여기서 선택지가 갈립니다. 전문가 전체를 미리 디스크에 받아두면 토큰당 16초 정도로 안정적으로 돌아가지만 1.7테라바이트라는 저장공간이 필요하죠. 반대로 필요할 때만 인터넷에서 내려받는 스트리밍 방식을 쓰면 저장공간은 215기가바이트로 줄어듭니다. 다만 캐시에 없는 전문가를 만날 때마다 토큰당 3분 이상이 걸린다는 게 대가입니다.

이 프로젝트의 첫 버전은 토큰 하나에 20분이 걸렸다고 합니다. 지금의 16초는 그 나름대로 80배 넘게 개선된 결과인 겁니다.

빠른 게 아니라 정확하고 재현 가능하다는 것

Deltafin이 내세우는 가치는 속도가 아닙니다. 제작자는 “빠르지 않다”는 점을 프로젝트 설명에서부터 인정하죠. 대신 강조하는 건 정확성입니다. 같은 프롬프트를 몇 번을 넣어도 토큰 단위까지 완전히 동일한 결과가 나온다는 것.

이런 재현성은 그냥 얻어지지 않습니다. 계산 과정에서 근사치를 쓰면 속도는 빨라지지만, 아슬아슬한 확률로 갈리는 토큰의 순서가 실행마다 달라질 수 있거든요. Deltafin은 기본값으로 이런 지름길을 쓰지 않고, 원본 모델과 비트 단위까지 일치하는 계산 경로를 유지합니다. 빠른 근사 모드도 옵션으로 존재하지만, 아직 이게 안정적으로 더 빠르다는 확신이 없어 “빠르다”는 이름조차 붙이지 않았다고 하네요.

제작자 스스로도 이 프로젝트를 실용적인 채팅 도구로 보지 않습니다. 토큰당 16초는 대화형이라 부르기엔 한참 느리고, 긴 프롬프트일수록 더 많은 전문가를 건드리기 때문에 비용도 커지죠. 대신 이 실험이 의미 있는 이유는 다른 데 있습니다. “이렇게 큰 모델도 로컬에서 돌아갈 수 있다”는 존재 증명이자, 스트리밍 추론 기법을 실험해볼 수 있는 테스트베드로서의 가치입니다.

참고자료: moonshotai/Kimi-K3 – Moonshot AI