로컬추론
DiffusionGemma, 256토큰 동시 생성으로 로컬 추론 4배 빠르게
Google이 공개한 DiffusionGemma는 256토큰을 동시에 생성하는 디퓨전 방식으로 로컬 GPU 환경에서 기존 LLM 대비 최대 4배 빠른 추론 속도를 제공합니다.
Written by
Gemma 4, 로컬 에이전틱 코딩의 문턱을 넘다, 실험 결과로 확인
Gemma 4가 에이전틱 tool calling 벤치마크 6.6%→86.4%를 달성하며 로컬 에이전틱 코딩이 실용 단계에 진입했습니다. M4 맥북 실험 결과를 소개합니다.
Written by
API 없이 Claude Code 쓴다, LM Studio 헤드리스 CLI와 Gemma 4 실전기
LM Studio 헤드리스 CLI로 Gemma 4를 로컬에서 실행하고 Claude Code와 연결하는 실전기. API 비용 없이 초당 51토큰, 데이터는 기기 밖으로 나가지 않습니다.
Written by
GGML·llama.cpp, Hugging Face 합류, 로컬 추론 오픈소스 단일화
llama.cpp 제작팀 GGML이 Hugging Face에 합류. transformers와 llama.cpp 통합 가속화로 로컬 AI 오픈소스 생태계의 큰 변화를 소개합니다.
Written by
ChatGPT 광고 시대 개막, AI 어시스턴트가 광고 회사가 되는 구조적 이유
AI 어시스턴트를 만드는 모든 주요 기업이 광고 기반 수익 모델을 갖고 있다는 구조적 문제와, 온디바이스 추론이 유일한 건축적 해답인 이유를 짚습니다.
Written by
