이미지 출처: KDnuggets

들어가며: 로컬 LLM의 한계를 넘어서

최근 인공지능 기술의 발전으로 대규모 언어 모델(LLM)을 개인 컴퓨터에서 직접 구동하는 것이 가능해졌습니다. 로컬에서 LLM을 운영하면 비용 절감, 개인정보 보호, 인터넷 연결 없이도 사용 가능한 점 등 많은 장점이 있습니다. 하지만 이렇게 설치한 LLM은 해당 기기에서만 접근 가능하다는 큰 제약이 있었죠.

집에서 강력한 데스크톱으로 LLM을 구동하고 있는데, 출장 중인 노트북에서 사용하고 싶다면 어떻게 해야 할까요? 또는 가족이나 팀원과 내 로컬 LLM을 안전하게 공유하고 싶다면? 이런 상황에서 로컬 LLM에 대한 원격 접근 방법이 필요합니다.

이 글에서는 Tailscale, Open WebUI, Ollama를 활용하여 로컬 LLM에 원격으로 접근하는 방법을 단계별로 알아보겠습니다. 이 방법을 통해 여러분은 장소에 구애받지 않고 자신의 로컬 LLM을 안전하게 사용할 수 있게 될 것입니다.

로컬 LLM을 원격으로 접근해야 하는 이유

다양한 기기에서의 접근성 (출처: Unsplash)

로컬 LLM을 원격으로 접근하면 다음과 같은 장점이 있습니다:

1. 다양한 기기에서 접근 가능: 데스크톱, 노트북, 태블릿, 심지어 스마트폰에서도 동일한 LLM을 사용할 수 있습니다.
2. 하드웨어 자원 효율화: 고성능 컴퓨터 한 대에서만 LLM을 구동하고, 성능이 낮은 기기에서는 이를 원격으로 활용할 수 있습니다.
3. 데이터 주권과 개인정보 보호: 클라우드 서비스와 달리, 모든 데이터와 처리 과정이 사용자의 통제 하에 있어 개인정보 보호가 강화됩니다.
4. 비용 절감: 높은 구독료를 지불하는 클라우드 기반 LLM 서비스 대신, 한 번 설정한 로컬 시스템을 여러 기기에서 활용할 수 있습니다.

필요한 도구

이 가이드를 따라하기 위해 다음 도구들이 필요합니다:

• Tailscale: 기기 간 안전한 연결을 위한 VPN 솔루션
• Docker: 컨테이너화 플랫폼
• Open WebUI: LLM을 위한 웹 기반 인터페이스
• Ollama: 로컬 LLM 관리 도구

각 도구의 설치와 구성 방법을 차례대로 알아보겠습니다.

단계별 가이드

1단계: Tailscale 설치 및 구성

Tailscale은 기기 간 안전한 연결을 제공하는 VPN 서비스로, 로컬 LLM에 원격으로 접근하기 위한 핵심 요소입니다.

1. Tailscale 웹사이트에서 소프트웨어를 다운로드하고 설치합니다.
2. Google, Microsoft, GitHub 계정 중 하나로 로그인합니다.
3. Tailscale을 실행합니다.
4. macOS를 사용 중이라면, 이 가이드를 참고하여 터미널에서 Tailscale을 실행할 수 있습니다. 다른 OS라면 이 단계를 건너뛰어도 됩니다.
5. 터미널이나 명령 프롬프트에서 다음 명령어를 실행하여 Tailscale 네트워크에 연결되었는지 확인합니다:

   tailscale up

2단계: Ollama 설치 및 실행

Ollama는 로컬 LLM을 쉽게 관리하고 실행할 수 있게 해주는 도구입니다.

1. Ollama 웹사이트에서 소프트웨어를 다운로드하고 설치합니다.
2. 터미널이나 명령 프롬프트에서 다음 명령어를 사용해 모델을 다운로드합니다:

   ollama pull [모델명]

예를 들어, Mistral 모델을 사용하려면:

   ollama pull mistral

3. 다음 명령어로 모델을 실행합니다:

   ollama run [모델명]

Mistral 모델의 경우:

   ollama run mistral

Ollama 실행 화면 (출처: KDnuggets)

대화를 종료하려면 /bye를 입력하면 됩니다.

3단계: Docker 및 Open WebUI 설정

Open WebUI는 LLM과 상호작용할 수 있는 사용자 친화적인 웹 인터페이스를 제공합니다.

1. Docker Desktop을 다운로드하고 설치합니다.
2. Docker 설정에서 호스트 네트워킹을 활성화합니다. 설정 > 리소스 > 네트워크에서 “호스트 네트워킹 활성화”를 선택합니다.

Docker 호스트 네트워킹 활성화 (출처: KDnuggets)

3. 터미널이나 명령 프롬프트에서 다음 명령어를 실행하여 Open WebUI를 Docker 컨테이너로 실행합니다:

   docker run -d --network=host -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

이 명령어는 Open WebUI를 Docker 컨테이너로 실행하고 Ollama와 연결합니다.

4. 웹 브라우저에서 http://localhost:8080으로 접속하여 Open WebUI에 액세스합니다. 인증 후 다음과 같은 화면이 표시됩니다:

Open WebUI 화면 (출처: KDnuggets)

Ollama를 통해 여러 LLM을 로드한 경우, 빨간색 사각형으로 표시된 드롭다운 메뉴를 통해 쉽게 전환할 수 있습니다.

4단계: 원격으로 LLM 접근하기

이제 다른 기기에서 로컬 LLM에 접근해 볼 차례입니다.

1. 로컬 머신에서 다음 명령어를 실행하여 Tailnet IP 주소를 확인합니다:

   tailscale ip -4

이 명령은 100.x.x.x 형식의 Tailnet IP를 반환합니다.

2. 원격 기기에 Tailscale을 설치합니다(1단계 참조). Android/iOS 기기를 사용하는 경우, Tailscale 앱을 열고 기기가 연결되었는지 수동으로 확인하면 됩니다.
3. 원격 기기의 웹 브라우저에서 http://<Tailnet-IP>:8080을 입력하여 로컬 LLM에 접근합니다. 예를 들어, Tailnet IP가 100.123.45.67이라면 http://100.123.45.67:8080으로 접속합니다.

모바일에서 원격 LLM 접근 (출처: KDnuggets)

활용 사례 및 추가 팁

이렇게 설정한 원격 접근 시스템은 다양한 상황에서 유용하게 활용될 수 있습니다:

• 재택/원격 근무 환경: 회사 또는 집의 강력한 컴퓨터에서 LLM을 구동하고, 외부에서 노트북이나 태블릿으로 접근할 수 있습니다.
• 팀 협업: 팀원들과 한 대의 강력한 서버에서 운영되는 LLM을 공유할 수 있습니다.
• 교육 환경: 학교나 교육 기관에서 중앙 서버의 LLM을 여러 학생이 동시에 이용할 수 있습니다.
• 가정 내 AI 허브: 가족 구성원들이 하나의 중앙 시스템에서 운영되는 LLM을 다양한 기기에서 활용할 수 있습니다.

보안 강화 팁

• Tailscale의 ACL(액세스 제어 목록)을 구성하여 누가 LLM에 접근할 수 있는지 제한할 수 있습니다.
• Open WebUI의 인증 시스템을 활용하여 추가적인 보안 계층을 구축하세요.
• 정기적으로 모든 소프트웨어를 최신 버전으로 업데이트하여 보안 취약점을 방지하세요.

마치며

Tailscale, Ollama, Open WebUI를 활용한 로컬 LLM 원격 접근 방법은 AI 기술의 활용도를 크게 높여줍니다. 이 방법을 통해 하나의 강력한 시스템에서 LLM을 구동하면서도, 언제 어디서나 필요할 때 접근할 수 있는 유연성을 확보할 수 있습니다.

클라우드 기반 서비스의 비용과 개인정보 우려에서 벗어나, 자신만의 AI 인프라를 구축하고 원격으로 활용하는 이 방식은 앞으로 AI 기술이 더욱 보편화됨에 따라 많은 사용자에게 중요한 대안이 될 것입니다.

여러분도 이 가이드를 따라 자신만의 로컬 LLM 원격 접근 시스템을 구축해보시길 바랍니다. 기술적 어려움이 있거나 추가 질문이 있다면 언제든지 댓글로 남겨주세요!

참고자료

• Accessing Local LLMs Remotely Using TailScale: A Step-by-Step Guide