NVIDIA가 $4,000짜리 작은 상자 하나로 AI 개발 환경을 통째로 바꾸려 하고 있습니다. 데이터센터에서나 가능했던 200억 파라미터급 AI 모델 작업을 이제 책상 위에서 할 수 있게 됐거든요. 클라우드 비용 걱정 없이 로컬에서 마음껏 실험할 수 있다는 건, 개발자들에게는 꽤 큰 변화입니다.

핵심 포인트:

• 128GB 통합 메모리의 파괴력: CPU와 GPU가 메모리를 공유하는 구조 덕분에 일반 소비자용 GPU로는 꿈도 못 꾸는 200B 파라미터 모델을 로컬에서 실행. RTX 4090이 24GB에 그치는 걸 생각하면 차원이 다른 수준
• 생태계가 하루아침에 바뀌었다: Ollama, llama.cpp, vLLM 같은 주요 도구들이 출시와 동시에 지원 발표. 한 달 전만 해도 ARM64+CUDA 조합에 개발자들이 헤맸는데, 이제는 공식 가이드와 도구가 넘쳐남
• $4,000의 선택: 클라우드 GPU 시간당 비용을 생각하면 매달 집중적으로 모델 실험하는 개발자라면 몇 달이면 본전. 다만 가끔 쓰는 사람이라면 여전히 클라우드가 나음

Mac mini 크기에 petaFLOP 성능

DGX Spark의 크기는 정말 작습니다. 5.91 x 5.91 x 1.99인치, 무게는 1.2kg에 불과하죠. 그런데 이 안에 GB10 Grace Blackwell Superchip이 들어있어요. ARM 기반 20코어 CPU와 Blackwell GPU가 하나로 합쳐진 구조입니다.

여기서 핵심은 128GB 통합 메모리입니다. CPU와 GPU가 같은 메모리를 쓰니까 데이터를 복사할 필요가 없어요. 그냥 포인터만 넘기면 됩니다. 덕분에 200B 파라미터 모델도 로컬에서 돌리고, 70B 파라미터 모델은 파인튜닝까지 가능합니다.

비교하자면 RTX 4090이 24GB VRAM인데, DGX Spark는 그 5배가 넘는 메모리를 가진 셈이죠. 물론 추론 속도 자체는 RTX 5090이 더 빠릅니다. DGX Spark는 속도보다는 “큰 모델을 돌릴 수 있느냐”에 초점을 맞춘 제품이거든요.

초기의 혼란과 빠른 성숙

재미있는 건, 한 달 전만 해도 이 기계로 뭘 해야 할지 모르는 사람들이 많았다는 겁니다. 개발자 Simon Willison이 미리 받아서 써봤는데, ARM64에 CUDA를 얹은 조합이 생소해서 꽤 고생했다고 해요. PyTorch 설치부터 막히고, Docker 설정도 헷갈리고.

그런데 출시와 동시에 상황이 완전히 바뀌었습니다. Ollama는 바로 지원을 시작했고, llama.cpp 개발자 Georgi Gerganov는 벤치마크 결과를 공유했어요. GLM-4.5-Air 모델로 초당 817토큰으로 프롬프트를 읽고, 18토큰을 생성한다는 수치였습니다. vLLM도 공식 NGC 컨테이너를 내놨고, LM Studio도 ARM 빌드를 출시했죠.

NVIDIA가 공식 가이드와 플레이북을 대량으로 쏟아낸 것도 한몫했습니다. Flux.1로 이미지 생성 모델을 커스터마이징하는 법부터, Qwen3으로 챗봇 만드는 법까지. 이제는 초보자도 따라 할 수 있는 수준의 문서가 갖춰졌어요.

누구를 위한 제품인가

솔직히 말하면, 이건 모두를 위한 제품은 아닙니다. 가끔 AI 모델 돌려보는 정도라면 클라우드가 훨씬 낫죠. 쓴 만큼만 내면 되니까요.

하지만 매일같이 모델 실험하는 개발자라면 얘기가 다릅니다. 클라우드 GPU는 시간당 몇 달러씩 나가는데, 집중적으로 쓰다 보면 한 달에 수백 달러 우습게 넘어요. 그럴 바엔 $4,000 내고 로컬 머신 하나 두는 게 나을 수 있습니다.

특히 데이터 보안이 중요한 경우라면 더욱 그렇습니다. 민감한 데이터로 모델 파인튜닝할 때 클라우드에 올리기 꺼려지잖아요. DGX Spark는 전부 로컬에서 처리하니까 그런 걱정이 없습니다.

AI 개발 민주화의 시작

결국 DGX Spark는 “AI 개발을 데이터센터 밖으로 꺼냈다”는 데 의미가 있습니다. 예전에는 대기업이나 연구소에서나 할 수 있던 작업을 이제 개인 개발자도 책상 위에서 할 수 있게 됐거든요.

생태계도 빠르게 따라붙고 있습니다. 단순히 하드웨어만 던져주는 게 아니라, Ollama나 vLLM 같은 도구들이 즉시 지원에 나섰고, 공식 문서도 충실합니다. 앞으로 몇 주만 지나면 이 기계를 어떻게 활용하는 게 베스트인지 명확해질 겁니다.

물론 완벽하진 않습니다. ARM64라는 아키텍처 자체가 아직은 x86만큼 지원이 넓지 않고, 가격도 만만치 않죠. 하지만 방향성은 확실합니다. AI 개발이 점점 더 개인화되고, 로컬화되고 있다는 것. DGX Spark는 그 변화의 시작점일지도 모릅니다.

---

참고자료:

• Nvidia sells tiny new computer that puts big AI on your desktop – Ars Technica
• NVIDIA DGX Spark 공식 페이지
• NVIDIA DGX Spark: The developer’s personal AI supercomputer built on an Ubuntu base – Canonical
• NVIDIA DGX Spark: great hardware, early days for the ecosystem – Simon Willison
• Elon Musk Gets Just-Launched NVIDIA DGX Spark – NVIDIA Blog

1

Like?