Bonsai 27B는 PrismML이 공개한 Qwen3.6 27B 기반 저비트 모델이다. 27B급 모델을 1비트 또는 삼진(ternary) 가중치로 압축해 노트북, 단일 GPU, 스마트폰 같은 로컬 장치에서 실행하는 것을 목표로 한다.

두 가지 변형

PrismML은 언어 네트워크, 임베딩, 어텐션, MLP, LM 헤드까지 저비트 표현을 끝까지 적용한다고 설명한다. 비전 타워는 4비트로 제공되며, 모델은 262K 토큰 컨텍스트와 speculative decoding도 지원한다고 밝힌다.

왜 중요한가

에이전트 워크로드는 한 번의 답변보다 수십~수백 번의 도구 호출과 중간 추론으로 구성된다. 이 루프를 전부 클라우드 API로 보내면 비용, 지연 시간, 개인정보 전송 문제가 누적된다. Bonsai 27B의 의미는 “최고 성능 모델”이라기보다 로컬에서도 긴 에이전트 루프를 돌릴 수 있는 모델 밀도를 앞당기는 데 있다.

PrismML의 발표에 따르면 삼진 모델은 15개 벤치마크 평균에서 원본 27B 기준 약 95%, 1비트 모델은 약 90%를 유지한다. 특히 수학·코딩은 손실이 상대적으로 작고, 도구 호출과 비전은 더 큰 품질 차이가 난다.

사용 대상

• 개인정보가 있는 화면·문서·로컬 파일을 다루는 온디바이스 에이전트
• 클라우드 모델 비용을 줄이고 로컬 모델로 반복 단계 대부분을 처리하려는 제품
• Qwen 계열 모델을 모바일·엣지 환경에서 실험하려는 개발자

한계

발표 수치는 PrismML 자체 벤치마크와 백서 기준이다. 1비트 모델이 스마트폰에 들어간다는 점과 실제 앱에서 안정적으로 긴 컨텍스트·비전·도구 호출을 처리한다는 점은 별개의 문제다. 배포 전에는 대상 기기별 메모리, KV 캐시, 열 제한, 토큰 속도, 품질 회귀를 직접 측정해야 한다.

관련 문서

• qwen — Alibaba Cloud의 오픈소스 대형 언어 모델 시리즈
• local-llm-tips-hardware — 자체 호스팅 LLM을 돌리기 위한 하드웨어 현실
• ai-model-co-design — 하드웨어 친화적 LLM을 함께 설계하는 방법

참고 자료

• Announcing Bonsai 27B — PrismML (2026-07-14)