라즈베리파이에서 초당 133토큰을 처리하고, 스마트폰 메모리 1.5GB 안에서 에이전트가 돌아갑니다. Google DeepMind가 공개한 Gemma 4는 온디바이스 AI가 단순 챗봇 수준을 넘어 자율 작업 실행으로 도약하는 전환점을 보여줍니다.

Google DeepMind가 오픈 모델 패밀리 Gemma 4를 공개했습니다. E2B, E4B, 26B MoE, 31B Dense 네 가지 사이즈로 구성되며, 모두 네이티브 멀티모달(이미지·비디오·오디오)과 함수 호출을 지원합니다. Gemini 3와 동일한 연구 기반 위에서 설계된 이 모델들은 Apache 2.0 라이선스로 배포됩니다.

출처: Gemma 4: Our most capable open models to date – Google Blog

서버 없이 스마트폰에서 에이전트가 작동한다

Gemma 4의 핵심 설계 목표는 온디바이스 에이전트입니다. E2B, E4B 모델은 LiteRT-LM 런타임을 통해 메모리 1.5GB 이하로 실행되고, 라즈베리파이 5에서 prefill 133토큰/초, decode 7.6토큰/초를 기록합니다. 안드로이드에서는 AICore Developer Preview를 통해 시스템 수준으로 통합됩니다.

단순히 “오프라인에서 응답한다”는 수준이 아닙니다. 네이티브 함수 호출을 지원하기 때문에 모델이 외부 도구나 API를 직접 호출하고 결과를 받아 다음 단계로 이어가는 멀티스텝 작업이 가능합니다. 구글은 Google AI Edge Gallery 앱에서 이를 “Agent Skills”라는 이름으로 시연했는데, 위키피디아 조회, 수면 데이터 시각화, 타 모델과의 연동 등을 별도 서버 없이 기기 내에서 처리합니다.

26B인데 추론 속도는 4B 수준인 이유

26B MoE 모델은 총 25.2B개의 파라미터를 갖지만 추론 시 활성화되는 파라미터는 3.8B에 불과합니다. Mixture-of-Experts 구조에서 128개 전문가 중 8개만 선택적으로 활성화되기 때문입니다.

이 설계의 효과는 벤치마크에서 확인됩니다. Arena AI 텍스트 리더보드(4/1 기준)에서 26B 모델은 세계 6위 오픈 모델로 올랐는데, 구글은 “자신보다 20배 큰 모델들을 이겼다”고 표현했습니다. 31B Dense는 동일 리더보드 3위입니다.

수학 추론 벤치마크 AIME 2026에서 31B는 89.2%, 26B MoE는 88.3%를 기록했고, 이전 세대인 Gemma 3 27B는 20.8%였습니다. 에이전트 평가 기준 τ2-bench에서도 31B가 76.9%로, Gemma 3 27B(16.2%) 대비 큰 차이를 보였습니다.

Apache 2.0 라이선스로 바뀐 것

이전 Gemma 모델들은 독자적인 커스텀 라이선스로 배포됐고, 상업적 활용에 일부 제약이 있었습니다. Gemma 4는 Apache 2.0으로 전환했습니다. 이는 모델 가중치를 수정·배포·상업화하는 데 별도 허가가 필요 없다는 의미입니다.

VentureBeat는 이번 발표에서 벤치마크보다 라이선스 변화가 더 중요할 수 있다고 평가했습니다. 엔터프라이즈나 스타트업 입장에서는 법적 불확실성이 제거된다는 점이 실질적인 채택 장벽을 낮춥니다. Hugging Face는 출시 첫날부터 전체 모델 패밀리를 지원했습니다.

오픈 모델의 무게중심이 이동하고 있다

Gemma 시리즈는 첫 출시 이후 누적 다운로드 4억 회를 넘겼고, 파생 모델 10만 개 이상이 공개됐습니다. Gemma 4는 이 생태계에 에이전트 실행 능력을 더한 셈입니다.

주목할 점은 방향성입니다. 클라우드 API 의존 없이 기기에서 직접 계획하고 실행하는 에이전트가 실제 하드웨어에서 작동하기 시작했습니다. 논문은 256K 토큰 컨텍스트 처리, 멀티모달 입력 처리 방식, 아키텍처 세부 사항 등 기술 깊이 있는 내용도 다루는데, 자세한 내용은 공식 모델 카드에서 확인할 수 있습니다.

참고자료:

• Gemma 4 model card – Google AI for Developers
• Bring state-of-the-art agentic skills to the edge with Gemma 4 – Google Developers Blog
• Google releases Gemma 4 under Apache 2.0 – VentureBeat