몇 주 전 해커뉴스에 재미있는 글 하나가 올라왔습니다. “10년 된 Xeon 서버 하나면 충분하다”는 제목으로, 필자가 2016년형 Xeon 서버에 GPU도 없이 구글의 Gemma 4 모델을 돌린 후기였죠. 이 글을 읽은 또 다른 개발자가 문득 떠올렸습니다. “나도 지하실에 비슷한 늙은 서버가 있는데.” 저장장치로나 쓰이던 HP 스토어버추얼 박스, 13년 된 제온 CPU 두 개, GPU는 당연히 없습니다. 그는 원본 글을 그대로 따라 해봤습니다.

실행조차 되지 않았습니다.

출처: Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU – Neomind

똑같이 따라 했는데 왜 안 됐을까

원본 글의 저자는 ik_llama.cpp라는 추론 엔진 포크에 스무 개가 넘는 세부 설정을 얹어 서버를 돌렸습니다. 투기적 디코딩, CPU 특화 라우팅 같은 최신 기법이 다 들어간, 나름 정교한 결과물이었죠. 문제는 원작자의 칩이 2016년형 브로드웰 세대였고, 이 글의 필자가 가진 칩은 그보다 오래된 2013년형 아이비브릿지 세대였다는 데 있었습니다.

빌드는 시작하자마자 죽었습니다. 필자는 그 실패 로그를 그대로 들고 Claude에게 물었습니다. “뭐가 문제야?”

답은 빠르고 명확했습니다. 포크에 적용된 빠른 연산 경로들이 AVX2와 FMA3라는 명령어셋을 전제로 짜여 있는데, 이 명령어셋은 2014년 하스웰 세대부터 등장했다는 겁니다. 필자의 칩은 그 명령어가 세상에 나오기도 전 세대였습니다. 최적화 코드가 아예 실행될 수 없는, 애초에 성립 불가능한 조합이었던 셈이죠.

반쯤 풀다 만 문제를 이어받다

여기서 포기할 법도 했지만 필자는 한 번 더 물었습니다. “그래도 돌릴 방법은 없을까?”

사실 그는 이전에 다른 무료 모델로 비슷한 시도를 해본 적이 있었습니다. 거의 다 왔는데 마지막 한 발짝을 못 채운 상태로 남겨뒀던 접근법이었죠. Claude는 이 미완성 시도를 넘겨받아 방향이 맞다는 걸 확인하고, 남은 작업을 마무리했습니다. AVX2가 없는 구형 칩을 만나면 그 최적화 경로를 건너뛰고 안전한 대체 경로로 빠지도록, 성능에 민감한 코드 부분을 다시 짠 겁니다.

말처럼 간단한 일은 아니었습니다. 남이 짠 성능 최적화 C++ 코드를 읽고, 특정 마이크로아키텍처에서 왜 그 커널이 유효하지 않은지 알아내고, 포크를 애초에 쓸모 있게 만든 최적화는 그대로 살리면서 우회로만 새로 뚫는 작업이었으니까요. “고쳐줘” 한마디로 뚝딱 나온 결과가 아니었습니다.

정작 필자가 한 일

그렇다고 필자가 손 놓고 구경만 한 건 아닙니다. 그가 실제로 한 일은 맞는 실험을 설계해서 돌려보고, 나온 결과가 진짜 문제를 해결한 게 맞는지 판단하는 것이었습니다. 코드를 고치는 실무는 에이전트 몫이었지만, 그 답이 정말 맞는지 가려내는 건 여전히 사람의 몫으로 남았다는 이야기입니다.

필자는 이 경험에서 “AI를 잘 쓴다”는 말의 의미를 다시 짚습니다. 요즘 이 표현은 조용히 “구독료를 낸다”는 뜻으로 굳어졌지만, 정작 진짜 실력은 다른 데 있다는 거죠. 누구도 미리 포장해두지 않은 문제에 모델을 정확히 겨냥할 줄 알고, 그 모델이 내놓은 답이 정말 맞는지 가려낼 줄 아는 능력 말입니다.

결국 돌아간 서버

최종 결과는 이렇습니다. 260억 파라미터 규모의 Gemma 4 모델이, 그 아키텍처가 세상에 나오기도 전에 퇴역했어야 할 하드웨어 위에서 사람이 읽는 속도로 글을 쓰기 시작했습니다. 원본 글은 정확한 속도를 밝히지 않고 그냥 “읽는 속도”라고만 적었는데, 이번엔 숫자가 나왔습니다. 초당 약 5토큰. 300달러도 안 되는, 버려지기 직전이었던 서버에서 나온 결과입니다.

이 이야기가 흥미로운 건 “돈 안 들이고도 AI를 쓸 수 있다”는 사실 하나 때문이 아닙니다. 실행이 막혔을 때 원인을 정확히 짚어내고, 남이 짜놓은 코드의 한계를 이해하며 고쳐낼 줄 아는 판단력. 그게 결국 에이전트를 제대로 부려먹는 데 필요한 진짜 실력이라는 걸 이 소소한 실험이 보여줍니다.