모바일 LLM 벤치마크는 모델의 원래 가중치 점수 대신, 사용자가 실제 휴대폰에 올릴 양자화 빌드와 실행 환경을 기준으로 품질·응답 시간·메모리 사용량을 함께 비교하는 방법이다. 온디바이스 기능을 제품에 넣으려는 개발자에게는 “가장 똑똑한 모델”보다 제한된 배터리와 메모리에서 제시간에 답을 끝내는 모델을 고르는 기준이 필요하다.
왜 모델명 비교만으로 부족한가
같은 모델도 4비트 양자화 형식, chat template, 런타임, 컨텍스트 길이와 KV 캐시 설정이 달라지면 전혀 다른 제품이 된다. 특히 작은 모델은 프런티어 모델용 벤치마크에서 점수가 바닥에 모여 실제 차이를 드러내지 못한다. local-llm-tips-quality-diagnosis처럼 품질 원인을 분리하는 일과, 실제 기기에서 재현 가능한 측정은 함께 해야 한다.
측정할 세 축
| 축 | 확인할 지표 | 제품 의사결정 |
|---|---|---|
| 지능 | 지시 이행, 도구 호출, 지식 정확도, 추론 | 기능을 끝까지 수행하는가 |
| 반응성 | 1,024토큰 입력과 256토큰 출력의 종단 간 시간 | 사용자가 기다릴 수 있는가 |
| 자원 | 피크 메모리, 컨텍스트 길이, 발열·전력 조건 | 다른 앱과 공존하며 안정적으로 실행되는가 |
Artificial Analysis의 Mobile Device Benchmark Set은 BFCL, IFBench, AA-Omniscience, GPQA Diamond, MATH-500을 사용해 첫 축을 측정한다. 중요한 점은 평가와 기기 추론 모두 4비트 이하의 동일 빌드, llama.cpp, 실제 휴대폰이라는 조건을 맞춘다는 것이다.
컨텍스트·시간 제한을 결과에 넣는다
긴 추론을 하는 모델은 정답 잠재력이 높아도 휴대폰 메모리에 맞는 16K 컨텍스트에서 끝내지 못할 수 있다. 반대로 짧은 시간 예산에서는 빠른 MoE나 소형 모델이 더 유용할 수 있다. 따라서 순위 하나를 믿기보다 다음 세 결과를 나란히 본다.
- 기기에 들어가는 최대 컨텍스트에서의 품질
- 사용자가 받아들일 대기 시간 안의 품질
- 해당 조건의 메모리와 발열 여유
도입 전 최소 실험
- 목표 기기, OS 버전, 전원 모드, 냉각 조건을 고정한다.
- 후보 모델을 실제 배포할 양자화 파일과 런타임으로 실행한다.
- 제품 기능을 대표하는 도구 호출·형식 준수·오프라인 질의 fixture를 만든다.
- 정확도와 함께 첫 응답·완료 시간, 피크 메모리, context-limit 중단 비율을 기록한다.
- 시간 제한을 넘긴 고득점은 별도 실패로 취급하고, 제품의 허용 대기 시간에서 다시 비교한다.
관련 문서
- lfm2-5-2-6b — 휴대폰과 CPU에서 도구 호출을 수행하는 온디바이스 모델
- local-llm-tips-quality-diagnosis — 로컬 추론 품질 저하를 진단하는 방법
- kv-caching — 컨텍스트 길이와 메모리 사용량을 바꾸는 KV 캐시
참고 자료
- Intelligence at pocket scale: Benchmarking small models and mobile phones — Artificial Analysis (2026-08-24)