AI Sparkup

최신 AI 쉽게 깊게 따라잡기⚡

Unsloth Studio – 로컬 모델 실행·파인튜닝을 한 화면에서 다루는 UI

Unsloth Studio는 로컬에서 모델을 검색·다운로드·실행하고 파인튜닝까지 수행하는 Unsloth의 웹 UI다. CLI와 노트북 중심이던 Unsloth 경험을 채팅, 모델 관리, 데이터 레시피, 학습 모니터링, 에이전트 연결까지 포함한 작업 화면으로 확장한다.

핵심 기능

영역기능
로컬 추론GGUF, LoRA adapter, safetensors 모델 검색·다운로드·실행
모델 내보내기GGUF, 16-bit safetensors 등으로 export
에이전트 연결OpenAI·Anthropic 호환 API로 Claude Code, Codex, OpenCode 등 연결
멀티모달 입력이미지, 오디오, PDF, 코드, DOCX를 채팅에서 사용
모델 비교같은 프롬프트로 두 모델을 나란히 비교
학습LoRA, QLoRA, full fine-tuning, RL, pretraining, FP8 지원
데이터 레시피PDF, CSV, DOCX 등에서 학습 데이터 생성·편집

Unsloth는 500개 이상 모델을 더 빠르고 적은 VRAM으로 학습하는 것을 내세우며, MoE 모델 학습에서는 더 큰 속도 개선을 강조한다. Studio는 이 기능을 로컬 UI와 API 엔드포인트로 묶어 실험 진입 장벽을 낮춘다.

설치와 실행

macOS, Linux, WSL:

curl -fsSL https://unsloth.ai/install.sh | sh
unsloth studio -p 8888

Windows PowerShell:

irm https://unsloth.ai/install.ps1 | iex
unsloth studio -p 8888

Docker로 NVIDIA GPU 환경을 띄울 수도 있다.

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

기본 실행은 localhost 바인딩이다. LAN이나 클라우드 접근이 필요하면 -H 0.0.0.0 또는 Cloudflare tunnel 옵션을 쓸 수 있지만, 코드 실행과 API key가 포함될 수 있으므로 외부 노출 시 접근 제어가 필요하다.

에이전트와 연결하기

Unsloth Start는 로컬 모델을 Claude Code, Codex, Hermes, OpenCode 같은 에이전트에 붙이는 명령이다.

unsloth start codex

기존 에이전트의 주 모델을 유지하고 로컬 모델을 보조 subagent로 붙이는 방식도 지원한다.

unsloth start claude --as-subagent --model unsloth/model-GGUF:quant

이 패턴은 클라우드 모델에 모든 토큰을 보내기 부담스러운 코드 검색, 초안 생성, 로컬 문서 요약에 유용하다.

언제 쓰면 좋은가

  • llama-cpp 명령을 직접 조합하기보다 UI에서 GGUF 모델을 관리하고 싶다.
  • LoRA·QLoRA 파인튜닝과 추론 테스트를 같은 환경에서 반복해야 한다.
  • Codex나 Claude Code에 로컬 모델을 붙여 비용과 지연을 줄이고 싶다.
  • AMD, Apple Silicon, NVIDIA 등 여러 하드웨어에서 같은 워크플로를 시험해야 한다.

단순히 이미 정해진 GGUF 모델 하나를 API 서버로 띄우는 용도라면 llama.cpp 단독 구성이 더 가볍다. Unsloth Studio는 모델 선택, 데이터 준비, 학습, 비교까지 포함할 때 가치가 커진다.

라이선스

Apache 2.0

관련 문서

참고 자료



AI Sparkup 구독하기

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)