OptiLLM은 20가지 이상의 최신 추론 시간 최적화 기법을 제공하는 OpenAI API 호환 프록시다. 수학·코딩·논리 추론에서 모델 재훈련이나 파인튜닝 없이 2~10배의 정확도 향상을 달성한다. 기존 OpenAI 클라이언트를 그대로 사용하면서 base_url만 바꾸면 바로 적용된다.

• GitHub: algorithmicsuperintelligence/optillm
• HuggingFace Space: codelion/optillm

핵심 특징

• 즉각적 향상: 수학, 코딩, 논리 추론에서 2~10배 정확도 개선
• 드롭인 교체: OpenAI 호환 API 엔드포인트 어디서나 동작
• 훈련 불필요: 기존 API 호출을 프록시로 연결하기만 하면 됨
• 멀티 프로바이더: OpenAI, Anthropic, Google, Cerebras 및 LiteLLM을 통해 100개 이상 모델 지원

실측 성능

빠른 시작

pip install optillm
export OPENAI_API_KEY="your-key-here"
optillm

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1")

# 모델명 앞에 기법 슬러그를 붙이면 적용
response = client.chat.completions.create(
    model="moa-gpt-4o-mini",  # Mixture of Agents 적용
    messages=[{"role": "user", "content": "2x + 3 = 7에서 x는?"}]
)

Docker로도 사용할 수 있다:

docker pull ghcr.io/algorithmicsuperintelligence/optillm:latest
docker run -p 8000:8000 ghcr.io/algorithmicsuperintelligence/optillm:latest

주요 최적화 기법

기법 조합

&와 |로 여러 기법을 결합할 수 있다:

# 파이프라인: cot_reflection → mcts 순서로 처리
model="cot_reflection&mcts-gpt-4o-mini"

# 병렬: bon과 moa를 동시에 실행해 응답 목록 반환
model="bon|moa-gpt-4o-mini"

또는 요청 본문에 직접 지정:

extra_body={"optillm_approach": "bon|moa|mcts"}

플러그인

지원 프로바이더

누가 쓰면 좋을까

• 모델 재훈련 없이 수학·코딩·추론 성능을 올리려는 ML 엔지니어
• 소형 모델로 대형 모델 수준의 결과를 얻으려는 비용 최적화 팀
• 다양한 추론 기법을 실험하고 싶은 연구자

라이선스

Apache 2.0