예전에 27B급 모델을 내 컴퓨터에서 코딩 에이전트로 굴리려면, 추론 서버를 세우고 엔드포인트를 연결하는 세팅부터 넘어야 했습니다. 그걸 명령 세 줄로 끝내는 방법이 나왔죠.

KDnuggets가 Qwen3.8-27B, Ollama, OpenCode 세 가지를 엮어 로컬 코딩 에이전트를 띄우는 방법을 소개했습니다. Qwen3.8-27B는 코딩·추론·도구 사용에 더해 긴 호흡의 에이전트 작업까지 강한 오픈 모델이죠. 여기에 모델을 돌려주는 Ollama와 에이전트형 코딩 환경 OpenCode를 붙이는 구성입니다.

출처: Run Qwen3.8-27B as a Local AI Coding Agent in Just 3 Commands – KDnuggets

세 도구가 나눠 맡는 일

핵심은 역할 분담입니다. 예전에는 모델을 받고, 추론 서버를 세우고, 엔드포인트를 잡아 에디터에 연결하는 일을 사람이 일일이 처리했죠. 이 구성에서는 그 단계를 세 도구가 나눠 맡습니다.

Ollama는 모델을 내려받아 로컬에서 서비스하고 GPU에 올려 추론을 돌립니다. OpenCode는 그 위에서 코드를 읽고 쓰는 에이전트 작업 공간을 제공하죠. 두 도구가 로컬 모델과 코딩 환경을 각각 맡으니, 사용자는 작업만 던지면 되는 구조입니다.

GPU 메모리가 관건

이 방식에서 가장 현실적인 조건은 GPU 메모리입니다. 원문은 24GB VRAM을 가진 RTX 3090에서 시연했는데, Ollama용 Qwen3.8-27B가 약 18GB라 모델을 통째로 GPU에 올리고도 얼마간 여유가 남는 셈. 컨텍스트 창을 키우면 그만큼 메모리도 더 든다는 계산입니다.

VRAM이 부족하면 Ollama가 모델을 GPU와 시스템 RAM에 나눠 얹습니다. 돌아가긴 하지만 생성 속도가 느려지는 게 단점. 그래서 원문은 최소 24GB VRAM을, 일부를 RAM으로 넘겨야 한다면 시스템 RAM 32GB 이상을 권장합니다.

로컬이라 얻는 것

이 조합의 매력은 완결성입니다. 모델도 추론도 코딩 환경도 전부 내 기기 안에서 돌아가는 구조. 클라우드 API 요금이 나가지 않고, 코드가 밖으로 샐 일도 없다는 겁니다.

원문 저자도 선을 긋습니다. 더 깊은 제어가 필요하면 llama.cpp가 낫지만, 이 방법은 서버를 직접 빌드하거나 긴 명령 인자와 씨름하지 않고 강력한 로컬 모델을 그냥 경험해보려는 사람을 위한 것. 며칠 전 다룬 로컬 LLM·캐스케이드 소재와 함께 보면, ‘내 손으로 세팅한다’는 각도가 조금 더 또렷해집니다.

curl -fsSL https://ollama.com/install.sh | sh
ollama serve & ollama pull qwen3.8:27b
ollama launch opencode --model qwen3.8:27b