목차
Future AGI는 AI 에이전트의 평가(Evals), 트레이싱, 시뮬레이션, 가드레일, LLM 게이트웨이를 하나의 통합 피드백 루프로 제공하는 오픈소스 플랫폼이다. Apache 2.0 라이선스로 셀프호스팅이 가능하며, 클라우드 매니지드 옵션도 제공한다. 현재 얼리 테스팅 나이틀리 릴리스 상태다.
왜 필요한가
대부분의 팀은 Langfuse(트레이싱) + Braintrust(평가) + Helicone(비용 모니터링) + Guardrails AI(보호)를 따로 연결해 사용한다. Future AGI는 이 모든 도구를 하나의 플랫폼과 하나의 피드백 루프로 통합한다.
에이전트가 프로덕션에서 실패하면 → 트레이스에서 원인 파악 → 평가 실행 → 엣지 케이스 시뮬레이션 → 가드레일 강화 → 다음 버전에 반영. 이 루프가 단일 플랫폼 안에서 닫힌다.
핵심 기능
| 기능 | 설명 |
|---|---|
| Tracing | OpenTelemetry 네이티브, 50개 이상 프레임워크 인스트루멘터 |
| Evals | 자동 평가기, 커스텀 메트릭, 비블랙박스 점수 |
| Simulations | 음성 에이전트 시뮬레이션 등 엣지 케이스 사전 검증 |
| Guardrails | 실시간 보호, P99 ≤ 21ms(가드레일 ON 상태) |
| Gateway | ~9.9ns 가중 라우팅, ~29,000 req/s (t3.xlarge 기준) |
| Datasets | 트레이스에서 학습 데이터셋 자동 생성 |
설치
클라우드 (빠른 시작)
pip install ai-evaluation
# 회원가입: app.futureagi.com셀프호스팅 (Docker)
git clone https://github.com/future-agi/future-agi.git
cd future-agi
cp futureagi/.env.example futureagi/.env
docker compose up -d
# http://localhost:3031Kubernetes
helm repo add futureagi <helm-repo-url>
helm install fagi futureagi/future-agi에이전트 인스트루멘테이션
Python
from fi_instrumentation import register
from traceai_openai import OpenAIInstrumentor
register(project_name="my-agent")
OpenAIInstrumentor().instrument()
# 기존 OpenAI 코드가 자동으로 트레이싱됨
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": query}],
)TypeScript
import { register } from "@traceai/fi-core";
import { OpenAIInstrumentation } from "@traceai/openai";
register({ projectName: "my-agent" });
new OpenAIInstrumentation().instrument();코드 변경 없이 기존 OpenAI 호환 코드를 즉시 트레이싱할 수 있다.
경쟁 도구와 비교
| 구분 | Future AGI | Langfuse | Helicone |
|---|---|---|---|
| 트레이싱 | ✓ | ✓ | ✓ |
| 평가 | ✓ | ✓ | ✗ |
| 시뮬레이션 | ✓ | ✗ | ✗ |
| 가드레일 | ✓ | ✗ | ✗ |
| 게이트웨이 | ✓ | ✗ | ✓ |
| 셀프호스팅 | ✓ (Apache 2.0) | ✓ (MIT) | ✓ |
어떤 경우에 적합한가
- 프로덕션 AI 에이전트가 있고 평가·모니터링·보호를 통합하고 싶은 팀
- 여러 LLMOps 도구를 연결하는 글루 코드에 지쳐있는 경우
- 데이터 주권이 중요해 셀프호스팅이 필수인 조직
라이선스
Apache 2.0
관련 문서
- langfuse — 오픈소스 LLM 엔지니어링·모니터링 플랫폼
- agent-governance — AI 에이전트 거버넌스 전략
- inference-caching — LLM 추론 캐싱으로 비용 절감
참고 자료
- future-agi/future-agi — GitHub 공식 저장소
- Future AGI Docs — 공식 문서