모델 파라미터가 많을수록 성능이 좋고, 그만큼 좋은 하드웨어가 필요합니다. 그런데 알리바바 Qwen 팀이 이 공식을 조금 비틀었습니다. 35B 파라미터 모델인데 노트북에서 돌아가고, 코딩 에이전트 벤치마크에서는 상위권에 오릅니다.
알리바바 Qwen 팀이 4월 16일 Qwen3.6-35B-A3B를 오픈소스로 공개했습니다. 35B 파라미터 모델이지만 추론 시 3B만 활성화하는 MoE 구조로, 양자화 시 약 21GB로 압축돼 소비자 하드웨어에서도 실행 가능합니다. 코딩 에이전트 벤치마크 SWE-bench에서 73.4%를 기록하며 상위권에 올랐습니다.
출처: Qwen3.6-35B-A3B – Qwen Team, Hugging Face
35B인데 왜 21GB밖에 안 될까
핵심은 MoE(Mixture of Experts) 구조에 있습니다. 전체 파라미터는 35B이지만, 실제 추론할 때 활성화되는 파라미터는 3B뿐입니다. 모델명의 ‘A3B’가 바로 이 의미입니다(Activated 3B).
작동 방식을 간단히 설명하면 이렇습니다.
- 입력 토큰이 들어오면 256개의 전문가(Expert) 중 8개만 선택됩니다
- 선택된 전문가들만 계산에 참여하고 나머지는 대기합니다
- 결과적으로 메모리와 연산량은 3B 수준이지만, 학습된 지식은 35B에서 나옵니다
이 구조 덕분에 양자화(quantization)된 모델 크기가 약 21GB로 줄어, MacBook Pro M5 같은 소비자 하드웨어에서도 실행이 가능해집니다.
코딩 에이전트에서 무슨 일이 있었나
이번 릴리스에서 Qwen 팀이 가장 공을 들인 분야는 에이전틱 코딩입니다. 단순한 코드 자동완성이 아니라, 리포지터리 전체를 이해하고 실제 버그를 수정하는 수준의 에이전트 성능을 뜻합니다.
SWE-bench Verified 기준으로 Qwen3.6-35B-A3B는 73.4%를 기록했습니다. 같은 계열의 이전 모델 Qwen3.5-35B-A3B(70.0%)보다 높고, Google의 Gemma4-31B(52.0%)를 크게 앞섭니다. 프론트엔드 코드 생성 벤치마크인 QwenWebBench에서는 1위를 차지했습니다.
이 외에도 Qwen3.6은 Thinking Preservation이라는 새로운 옵션을 도입했습니다. 이전 메시지에서 생성된 추론 흔적을 다음 요청에서도 유지하는 기능으로, 에이전트가 반복적인 작업을 수행할 때 불필요한 재추론을 줄여줍니다.
로컬에서 실제로 써보니
개발자 Simon Willison은 자신이 만든 ‘SVG 생성 테스트’로 Qwen3.6-35B-A3B와 Anthropic의 Claude Opus 4.7을 직접 비교했습니다. Unsloth가 배포한 21GB 양자화 모델을 LM Studio로 MacBook Pro M5에서 실행한 결과, 자전거 프레임과 구름까지 그럴듯하게 그린 Qwen이 자전거 프레임 모양을 틀린 Opus 4.7보다 낫다는 평가를 받았습니다.
그는 “양자화 로컬 모델이 Anthropic의 최고 모델보다 전반적으로 더 강력하다고 생각하지는 않는다”는 단서도 함께 달았습니다. 이 비교는 SVG 생성이라는 특정 작업에서의 순간적인 결과이며, 범용 성능의 우열을 말하기는 어렵습니다. 다만 로컬에서 실행 가능한 오픈소스 모델이 특정 시각적 코딩 과제에서 최상위 상용 모델과 경쟁한다는 사실 자체는 주목할 만합니다.
오픈소스 생태계에서 갖는 의미
Qwen3.6-35B-A3B는 Apache 2.0 라이선스로 공개됩니다. 상업적 이용과 수정, 재배포가 모두 자유롭습니다. 기본 컨텍스트 길이는 262,144 토큰이며, YaRN 설정을 통해 최대 약 100만 토큰까지 확장도 가능합니다.
코딩 에이전트 성능이 이 수준까지 올라온 오픈소스 모델이 완전히 자유로운 라이선스로 배포된다는 것은, 이 성능을 기반으로 제품을 만드는 비용이 사실상 0에 가까워진다는 의미이기도 합니다. 어떤 세부 벤치마크와 구체적인 아키텍처 결정이 이 성능을 만들었는지는 공식 블로그와 HuggingFace 모델 카드에서 확인할 수 있습니다.
참고자료:
답글 남기기