AI Sparkup

최신 AI 쉽게 깊게 따라잡기⚡

Future AGI – AI 에이전트 평가·관찰·개선을 위한 오픈소스 올인원 플랫폼

Future AGI는 AI 에이전트의 평가(Evals), 트레이싱, 시뮬레이션, 가드레일, LLM 게이트웨이를 하나의 통합 피드백 루프로 제공하는 오픈소스 플랫폼이다. Apache 2.0 라이선스로 셀프호스팅이 가능하며, 클라우드 매니지드 옵션도 제공한다. 현재 얼리 테스팅 나이틀리 릴리스 상태다.

왜 필요한가

대부분의 팀은 Langfuse(트레이싱) + Braintrust(평가) + Helicone(비용 모니터링) + Guardrails AI(보호)를 따로 연결해 사용한다. Future AGI는 이 모든 도구를 하나의 플랫폼과 하나의 피드백 루프로 통합한다.

에이전트가 프로덕션에서 실패하면 → 트레이스에서 원인 파악 → 평가 실행 → 엣지 케이스 시뮬레이션 → 가드레일 강화 → 다음 버전에 반영. 이 루프가 단일 플랫폼 안에서 닫힌다.

핵심 기능

기능설명
TracingOpenTelemetry 네이티브, 50개 이상 프레임워크 인스트루멘터
Evals자동 평가기, 커스텀 메트릭, 비블랙박스 점수
Simulations음성 에이전트 시뮬레이션 등 엣지 케이스 사전 검증
Guardrails실시간 보호, P99 ≤ 21ms(가드레일 ON 상태)
Gateway~9.9ns 가중 라우팅, ~29,000 req/s (t3.xlarge 기준)
Datasets트레이스에서 학습 데이터셋 자동 생성

설치

클라우드 (빠른 시작)

pip install ai-evaluation
# 회원가입: app.futureagi.com

셀프호스팅 (Docker)

git clone https://github.com/future-agi/future-agi.git
cd future-agi
cp futureagi/.env.example futureagi/.env
docker compose up -d
# http://localhost:3031

Kubernetes

helm repo add futureagi <helm-repo-url>
helm install fagi futureagi/future-agi

에이전트 인스트루멘테이션

Python

from fi_instrumentation import register
from traceai_openai import OpenAIInstrumentor

register(project_name="my-agent")
OpenAIInstrumentor().instrument()

# 기존 OpenAI 코드가 자동으로 트레이싱됨
response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": query}],
)

TypeScript

import { register } from "@traceai/fi-core";
import { OpenAIInstrumentation } from "@traceai/openai";

register({ projectName: "my-agent" });
new OpenAIInstrumentation().instrument();

코드 변경 없이 기존 OpenAI 호환 코드를 즉시 트레이싱할 수 있다.

경쟁 도구와 비교

구분Future AGILangfuseHelicone
트레이싱
평가
시뮬레이션
가드레일
게이트웨이
셀프호스팅✓ (Apache 2.0)✓ (MIT)

어떤 경우에 적합한가

  • 프로덕션 AI 에이전트가 있고 평가·모니터링·보호를 통합하고 싶은 팀
  • 여러 LLMOps 도구를 연결하는 글루 코드에 지쳐있는 경우
  • 데이터 주권이 중요해 셀프호스팅이 필수인 조직

라이선스

Apache 2.0

관련 문서

참고 자료



AI Sparkup 구독하기

최신 게시물 요약과 더 심층적인 정보를 이메일로 받아 보세요! (무료)