MoE
같은 원리인데 결과는 정반대, 8GB 맥북에서 초당 5토큰 뽑아낸 방법
어제 소개한 Kimi K3 로컬 구동 실험은 토큰 하나에 16초가 걸렸습니다. 같은 MoE 스트리밍 원리로, TurboFieldfare는 8GB 맥북에서 초당 5~6토큰을 뽑아냅니다. 두 프로젝트가 같은 기법에서 왜 이렇게 다른 결과에 도달했는지 살펴봅니다.
Written by
2.8조 파라미터 Kimi K3, 맥북 한 대로 돌리면 토큰 하나에 16초 걸린다
2.8조 파라미터 Kimi K3를 맥북 한 대에서 돌리는 개인 프로젝트 Deltafin. MoE 모델의 희소성 원리로 램 부족을 우회하는 방법과, 속도 대신 정확성·재현성을 택한 이유를 살펴봅니다.
Written by
같은 문제를 절반 토큰으로, Thinking Machines의 새 오픈모델 Inkling
Thinking Machines가 공개한 오픈웨이트 모델 Inkling. 최고 성능 대신 토큰 효율과 커스터마이징 가능성으로 승부하는 이유를 짚어봅니다.
Written by
RTX 5090은 못 돌리는 70B 모델, 미니PC는 어떻게 돌릴까
RTX 5090은 못 돌리는 70B 모델을 미니PC가 돌릴 수 있는 이유. 통합 메모리의 용량과 대역폭 트레이드오프, 프롬프트 처리 병목을 다룹니다.
Written by
깔끔했던 Transformer가 복잡해진 이유, 그리고 에이전트의 한계
깔끔했던 Transformer가 어텐션 변종과 MoE로 복잡해진 이유, 그리고 AI 에이전트가 이 복잡성을 자동으로 풀 수 없는 까닭을 메타 출신 엔지니어 Ian Barber의 글로 풀어봅니다.
Written by
DiffusionGemma, 256토큰 동시 생성으로 로컬 추론 4배 빠르게
Google이 공개한 DiffusionGemma는 256토큰을 동시에 생성하는 디퓨전 방식으로 로컬 GPU 환경에서 기존 LLM 대비 최대 4배 빠른 추론 속도를 제공합니다.
Written by
Microsoft MAI-Thinking-1, 증류 없이 만든 35B 추론 모델이 던지는 질문
Microsoft가 Build 2026에서 공개한 첫 자체 추론 모델 MAI-Thinking-1. 타사 증류 없이 35B 활성 파라미터로 대형 모델과 경쟁하는 MoE 구조와 그 의미를 소개합니다.
Written by
전문가 12.5%만 써도 성능 그대로, Ai2의 새로운 MoE 학습법 EMO
Ai2와 UC Berkeley가 발표한 EMO는 문서 경계를 학습 신호로 활용해 전문가들이 도메인별로 특화되게 만드는 MoE 학습 방식입니다. 전문가 12.5%만으로도 성능 손실 3% 이내를 달성했습니다.
Written by
NVIDIA Nemotron 3 Nano Omni, 멀티모달 에이전트 처리량 9배 높인 방법
NVIDIA Nemotron 3 Nano Omni는 텍스트·이미지·영상·오디오를 단일 모델로 처리하는 오픈 멀티모달 모델입니다. 파편화된 에이전트 체인 구조를 통합해 처리량을 최대 9배 높인 방법을 소개합니다.
Written by
Gemma 4가 증명한 것, AI 모델은 이제 하나의 설계로 모든 곳을 커버할 수 없다
Google Gemma 4가 엣지와 서버를 아예 다른 아키텍처로 설계한 이유. 하드웨어 제약이 AI 모델 설계를 어떻게 바꾸고 있는지 분석합니다.
Written by
