LLM 앱 프레임워크 선택은 “가장 유명한 것”을 고르는 문제가 아니다. 데이터 인덱싱이 핵심인지, 복잡한 에이전트 상태가 핵심인지, 단순 tool call과 낮은 latency가 핵심인지에 따라 LangChain, LlamaIndex, Raw API가 다르게 맞는다.
비교
| 선택지 | 강점 | 약점 |
|---|---|---|
| LangChain/LangGraph | tool use, stateful agent, graph workflow, checkpoint | 추상화와 유지보수 비용 |
| LlamaIndex | 문서 ingestion, indexing, query engine, RAG 개발 속도 | 복잡한 장기 에이전트 상태는 더 수동적 |
| Raw API | 낮은 latency, 투명성, 최소 의존성 | 직접 loop, retry, tracing, guardrail을 만들어야 함 |
빠른 판단법
- 문서 Q&A, 사내 검색, RAG prototype이 중심이면 LlamaIndex부터 본다.
- 사람 승인, 중단·재개, 복잡한 tool workflow가 필요하면 LangGraph가 자연스럽다.
- 기능이 단순하고 provider SDK의 tool call만으로 충분하면 Raw API가 더 오래 간다.
- 초기에는 raw wrapper로 시작하고, 반복 패턴이 뚜렷해질 때 프레임워크를 도입하는 전략도 유효하다.
2026년 관점
모델 provider SDK가 tool calling, tracing, multi-agent, guardrail 기능을 더 많이 흡수하면서 “무조건 프레임워크부터”라는 전제가 약해졌다. 반대로 장기 실행 에이전트와 human-in-the-loop workflow는 여전히 상태 관리가 어렵기 때문에 LangGraph 같은 그래프형 런타임의 가치가 남아 있다.
관련 문서
- langchain-langgraph-autogen-tips-framework-comparison — 에이전트 프레임워크 선택 가이드
- llamaindex — 데이터를 LLM 앱과 연결하는 RAG 프레임워크
- rag — 검색 증강 생성 기본 구조
- agent-harness — 에이전트 하네스 설계
참고 자료
- LLM Orchestration Frameworks Compared: LangChain vs. LlamaIndex vs. Raw API Calls — Machine Learning Mastery (2026-07)