Langfuse – LLM 앱 개발·모니터링·평가를 위한 오픈소스 엔지니어링 플랫폼

핵심 기능
LLM 앱 옵저버빌리티 (Observability)
프롬프트 관리 (Prompt Management)
평가 (Evaluations)
데이터셋 (Datasets)
경쟁 도구와의 차이
주요 통합
배포 방법
누가 쓰면 좋은가
라이선스
관련 문서

Langfuse는 LLM 애플리케이션을 협업 개발·모니터링·평가·디버깅할 수 있는 오픈소스 엔지니어링 플랫폼이다. Docker Compose 한 줄로 5분 안에 셀프호스팅이 가능하며, 프로덕션 환경에서 검증된 안정성을 제공한다. YC W23 출신 스타트업이 개발했으며 GitHub에서 ★25.9k를 기록하고 있다(GitHub).

핵심 기능

LLM 앱 옵저버빌리티 (Observability)

@observe() 데코레이터 하나로 LLM 호출, 검색(retrieval), 임베딩, 에이전트 액션 전반을 추적한다. 복잡한 대화 세션과 에이전트 실행 경로를 인터랙티브하게 검사하고 디버깅할 수 있다.

from langfuse.decorators import observe
from langfuse.openai import openai  # OpenAI SDK 드롭인 대체

@observe()
def generate(query: str) -> str:
    return openai.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": query}]
    ).choices[0].message.content

프롬프트 관리 (Prompt Management)

프롬프트를 중앙에서 버전 관리하고 팀이 협업해 반복 개선할 수 있다. 서버·클라이언트 사이드 강력한 캐싱 덕에 프롬프트를 교체해도 애플리케이션 지연 시간에 영향을 주지 않는다.

평가 (Evaluations)

LLM-as-a-judge, 사용자 피드백 수집, 수동 라벨링, 커스텀 평가 파이프라인(API/SDK)을 모두 지원한다. 트레이싱에서 불량 결과를 발견하면 즉시 플레이그라운드로 이동해 디버깅할 수 있다.

데이터셋 (Datasets)

테스트 세트와 벤치마크를 관리하고, 지속적 개선·배포 전 테스트·구조화된 실험을 가능하게 한다. LangChain, LlamaIndex와 연동된다.

경쟁 도구와의 차이

항목	Langfuse	LangSmith	Helicone
오픈소스	✅ MIT	❌	❌
셀프호스팅	✅ 무료	✅ 유료	❌
프롬프트 관리	✅	✅	✅
평가 파이프라인	✅	✅	제한적
OpenTelemetry 지원	✅	❌	❌

완전 오픈소스(MIT)이면서 셀프호스팅과 클라우드를 모두 무료로 지원한다는 점이 가장 큰 차별점이다.

주요 통합

통합	유형	설명
OpenAI SDK	드롭인 대체	코드 변경 최소화로 자동 계측
LangChain	콜백 핸들러	Python/JS 모두 지원
LiteLLM	프록시 통합	100개 이상 LLM 프로바이더 지원
Vercel AI SDK	JS/TS	Next.js·React 앱에 적합
LlamaIndex	콜백 시스템	Python 자동 계측
Mastra	JS/TS	멀티 에이전트 시스템 프레임워크

그 외 DSPy, Instructor, AutoGen, CrewAI, Dify, OpenWebUI 등과도 통합된다.

배포 방법

# 로컬 셀프호스팅 (5분)
git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up

VM(단일 서버), Kubernetes(Helm), Terraform 템플릿(AWS/Azure/GCP) 등 프로덕션 환경에 맞는 다양한 배포 옵션을 지원한다. 클라우드 관리형 서비스는 무료 플랜도 제공한다.

누가 쓰면 좋은가

LLM 앱 개발팀: 프롬프트 품질을 체계적으로 추적·개선하고 싶은 경우
MLOps 엔지니어: LLM 시스템의 비용·성능·이상을 모니터링해야 하는 경우
프라이버시 중시 기업: 사용 데이터를 외부로 보내지 않고 자체 인프라에서 운용하고 싶은 경우

라이선스

MIT 오픈소스 라이선스.

AI Sparkup