벤치마크 상위권 모델을 골라 폰에 받았는데, 막상 써보면 기대만큼 똑똑하지 않습니다. 착각이 아닙니다. 그 격차에는 측정되지 않은 이유가 있죠.

Artificial Analysis가 Liquid AI와 함께 ‘폰에서 실제로 도는 소형 모델’만을 위한 새 벤치마크를 내놨습니다. 8GB 메모리 안에 들어가고 4비트 이하로 양자화된 빌드를, 아이폰 같은 실제 기기에서 재는 방식이죠. 핵심 메시지는 하나입니다. 지금까지의 벤치마크 점수만으로는 내 폰 속 모델이 얼마나 똑똑한지 알 수 없다는 것.

출처: Intelligence at pocket scale: Benchmarking small models and mobile phones – Artificial Analysis

기존 벤치마크가 소형 모델 앞에서 멈추는 이유

헤드라인을 장식하는 벤치마크 대부분은 프론티어 모델을 가르려고 만들어졌습니다. 그래서 수십억 파라미터 이하의 작은 모델을 넣으면 전부 바닥 점수에 몰립니다. 긴 다단계 과제는 소형 모델이 아예 끝내질 못해 0에 가까운 점수만 남기죠. 이러면 A 모델이 B 모델보다 나은지조차 구별이 안 됩니다.

더 성가신 문제는 이름 뒤에 숨어 있습니다. 같은 이름의 모델이라도 양자화 형태에 따라 여러 빌드로 갈립니다. 필요한 메모리도, 실제 성능도 빌드마다 다른 겁니다. 여기에 아직 덜 여문 모바일 런타임, 발열과 전력 관리에 따라 움직이는 기기까지 겹칩니다. 그래서 ‘모델 X는 몇 점’이라는 문장은, 어떤 빌드를 어떤 기기에서 어떤 설정으로 돌렸는지를 빼면 해석할 수 없는 숫자가 됩니다.

아이폰 17 Pro에서 실제로 재보니

새 벤치마크는 지능을 다섯 갈래로 나눠 측정합니다. 도구 호출, 지시 따르기, 지식과 환각 저항, 과학 추론, 그리고 수학. 결과를 보면 순위표를 지배하는 게 점수만은 아니었습니다.

아이폰 17 Pro에서 LFM2.5-2.6B와 Nanbeige4.2-3B가 63점으로 공동 1위입니다. 그런데 같은 점수에 도달하는 방식이 딴판이죠. LFM2.5-2.6B는 1,024토큰 프롬프트에 8초, 메모리 2.3GB로 답합니다. Nanbeige4.2-3B는 같은 답에 21.4초와 4GB가 듭니다. 폰에서는 이 차이가 곧 체감 품질입니다.

문맥 길이 한도도 순위를 통째로 흔듭니다. 어떤 모델은 지능은 높지만 답 하나에 토큰을 훨씬 많이 쓰죠. 폰 메모리에 맞춰 16K로 제한하면 순위가 한 줄로 정리되는데, 64K로 풀면 1위가 바뀝니다.

다만 64K 문맥은 폰 메모리에 아예 들어가지 않는 겁니다. 초당 55토큰 속도로 64K를 뽑으려면 20분 넘게 기다리며 배터리를 태워야 합니다. 실사용 기준이 16K일 수밖에 없는 이유입니다.

같은 가중치인데 왜 내 것만 멍청할까

‘좋다길래 받았는데 별로다’라는 그 경험. Level1Techs의 한 엔지니어가 이걸 실험으로 파고들었습니다. 같은 가중치라도 돌리는 환경마다 조금씩 다른 답이 나온다는 게 요지죠.

모델은 다음에 올 단어 후보마다 점수를 매기고, 그 점수를 확률로 바꿔 하나를 고릅니다. 이 과정의 세팅 하나만 어긋나도 결과가 흔들리죠. 온도(temperature) 값을 너무 낮게 두면, 모델이 생각 단계에서 같은 출력을 맴돌며 빠져나오질 못하는 식입니다. 모델 배포처가 지정한 샘플러 설정을 안 지켰을 때 흔히 겪는 증상.

추론 엔진 자체도 변수입니다. 흔히 쓰는 추론 서버 이미지 하나에 700개가 넘는 패키지가 들어 있습니다. 각각이 저마다의 버그와 문서화되지 않은 습성을 가진 코드 뭉치죠. 게다가 GPU 세대가 다르면 명령어 집합이 달라, 같은 수식을 계산하는 방식조차 미세하게 어긋납니다. 이 작은 차이들이 쌓여 ‘뭔가 이상한데’라는 감각을 만드는 겁니다.

그래서 무엇을 보고 골라야 하나

두 자료를 겹쳐 보면 기준이 선명해집니다. 소형 모델을 고를 때 봐야 할 건 ‘모델 이름’이 아니라 ‘내 기기에서 도는 그 빌드’라는 것. 어떤 양자화인지, 어떤 런타임과 설정으로 돌리는지, 그 조합에서 얼마나 빠르고 얼마나 정확한지가 실제 경험을 결정합니다.

벤치마크 상위권이라는 한 줄보다, 내 폰 메모리 안에서 16K 문맥을 감당하며 몇 초 만에 답하는지가 더 쓸모 있는 기준입니다. 온디바이스 AI가 ‘곧 된다’에서 ‘이미 되는데 아무도 제대로 안 쟀다’로 넘어온 지금, 이런 측정이 나오기 시작했다는 사실 자체가 의미 있는 신호죠.

참고자료: Why your local LLM feels dumber than it is – Level1Techs Forums (thr3e)