27B 파라미터급 모델은 보통 54기가바이트. 웬만한 스마트폰 저장공간을 통째로 잡아먹는 크기죠. 4비트로 압축해도 18기가바이트라 여전히 폰은 물론 노트북 대부분에도 버겁습니다. PrismML이 내놓은 Bonsai 27B는 이 크기를 3.9기가바이트까지 줄였습니다. 아이폰 17 프로에 실제로 들어가는 크기입니다.

PrismML이 2026년 7월 14일 발표한 Bonsai 27B는 Qwen3.6 27B를 기반으로 만든 멀티모달 모델입니다. 다단계 추론과 구조화된 툴 호출, 컴퓨터 사용 에이전트 작업까지 여러 단계를 거치며 일관성을 유지하는 능력을 폰 크기로 압축한 게 핵심이죠.

출처: Announcing Bonsai 27B – PrismML

가중치를 2비트도 안 되게 줄이는 법

일반적으로 모델의 가중치 하나는 16비트로 저장됩니다. PrismML은 이걸 1비트에서 1.71비트 사이로 줄였습니다. 노트북용인 “삼진(ternary) Bonsai 27B”는 가중치가 −1, 0, +1 세 가지 값만 가지는 방식으로 유효 1.71비트를 구현해 5.9기가바이트가 됐습니다. 폰용인 “1비트 Bonsai 27B”는 −1과 +1 두 값만 쓰는 더 극단적인 압축, 그 결과 3.9기가바이트까지 내려갔죠.

이 저비트 표현은 임베딩부터 어텐션, MLP, 마지막 출력층까지 모델 전체에 예외 없이 적용됩니다. 일부만 압축하고 나머지는 고정밀도로 남겨두는 우회로 같은 건 없다는 뜻입니다. 이미지를 이해하는 비전 타워도 4비트로 압축된 형태로 함께 탑재돼, 폰에서도 화면이나 문서, 카메라 입력을 처리할 수 있습니다.

용량은 92% 줄었는데, 성능은 얼마나 남았을까

지식·추론·수학·코딩·명령어 이행·툴 호출·비전을 아우르는 15개 벤치마크에서, 삼진 버전은 원본 모델 성능의 95%를, 1비트 버전은 90%를 유지했습니다. 항목별로 보면 차이가 더 뚜렷하죠. 수학과 코딩은 거의 그대로였고, 에이전트 작업에서 중요한 툴 호출 능력도 원본과 큰 차이가 없었습니다. 반면 이미지 이해와 명령어 이행, 비전 관련 항목에서는 낙폭이 더 컸고요.

PrismML은 이 결과를 “지능 밀도”라는 지표로도 제시합니다. 기가바이트당 얼마나 많은 지능을 담고 있는지를 나타내는 값으로, 1비트 Bonsai 27B는 GB당 0.53으로 원본 모델의 10배가 넘고, 기존의 가장 뛰어난 저비트 압축 모델과 비교해도 2.7배 높습니다. 같은 조건에서 비교하면 더 뚜렷해집니다. 일반적인 방식으로 9.4기가바이트까지 압축한 Qwen3.6 27B가 72.7점을 받은 반면, 3.9기가바이트인 1비트 Bonsai 27B는 76.1점. 크기는 더 작은데 점수는 더 높았던 겁니다.

왜 굳이 폰 안에서 돌려야 하나

에이전트는 질문 하나에 답 하나를 내놓는 방식으로 일하지 않습니다. 작업 하나를 처리하는 동안 수백 번씩 모델을 호출하며, 그때마다 맥락을 이어 붙이고 결과를 다음 단계로 넘기죠. 이 호출이 전부 클라우드를 거치면 매번 토큰 비용이 쌓이고 네트워크 지연이 더해집니다. 화면 내용이나 문서 같은 개인 데이터도 호출할 때마다 기기 밖으로 나가고요.

모델이 기기 안에서 돌아가면 이 구조가 달라집니다. 백 번을 호출하든 천 번을 호출하든 추가 비용이 없고, 데이터는 기기를 벗어나지 않는 것. PrismML은 이런 구조를 상시 작동하는 개인 에이전트, 오프라인에서도 쓸 수 있는 어시스턴트, 민감한 작업은 로컬에서 처리하고 정말 어려운 단계만 클라우드의 대형 모델로 보내는 하이브리드 시스템의 기반으로 봅니다.

아직 초기 단계인 협업

CNBC 보도에 따르면 PrismML은 이 압축 기술을 두고 애플과 논의 중입니다. PrismML의 CEO 바박 하시비는 애플을 포함한 여러 기업이 속도와 전력 소모, 성능 측면에서 이 모델을 테스트하고 있다고 확인했죠. 아직 초기 단계라고 밝혔지만, 논의는 순조롭게 진행되고 있다고 덧붙였습니다.

참고자료: Apple in talks with startup that shrinks AI models to run on an iPhone – CNBC