RAG 평가는 답변만 채점하면 부족하다. 검색기가 필요한 문서를 가져왔는지, 답변이 검색 문맥에 grounded 되어 있는지, reference answer와 얼마나 맞는지, 운영 중 품질이 drift하는지까지 봐야 한다. RAGAS, TruLens, DeepEval은 이 문제를 서로 다른 위치에서 푼다.
비교
| 도구 | 강점 | 적합한 상황 |
|---|---|---|
| RAGAS | 빠른 자동 점수화, synthetic test set 생성, LangChain/LlamaIndex 연동 | 초기 RAG 프로토타입 평가 |
| TruLens | trace와 dashboard 기반 관찰성, RAG triad 중심 모니터링 | 운영 중 검색·답변 품질 추적 |
| DeepEval | Pytest 스타일 테스트, CI/CD에 넣기 쉬움 | 배포 전 회귀 테스트 |
봐야 할 지표
- Faithfulness: 답변의 각 주장이 검색 문맥에서 확인되는가
- Context precision: 가져온 chunk 중 실제로 유용한 비율은 얼마인가
- Context recall: 필요한 근거를 빠뜨리지 않았는가
- Answer relevance/correctness: 질문 의도와 reference answer에 맞는가
전통적인 BLEU, ROUGE는 문장 겹침을 보므로 RAG의 grounding 문제를 직접 보지 못한다. RAG 평가는 검색과 생성을 나눠서 봐야 한다.
선택 가이드
처음에는 RAGAS로 빠르게 baseline을 잡는다. 운영 trace가 쌓이면 TruLens나 Phoenix 계열 관찰성 도구로 어떤 query에서 어떤 chunk가 문제였는지 본다. 배포 파이프라인에는 DeepEval처럼 실패 시 build를 막을 수 있는 테스트를 둔다.
가장 좋은 구조는 세 도구 중 하나를 영구 표준으로 정하는 것이 아니라, 개발 단계별로 역할을 나누는 것이다.
관련 문서
- rag — 검색 증강 생성 기본 구조
- llm-observability-tips-tools — LLM 앱 관찰성 도구 선택 기준
- rag-tips-production — 프로덕션 RAG 설계 체크포인트
- vector-db-tips-comparison — RAG용 벡터 데이터베이스 선택 가이드
참고 자료
- RAG Evaluation Frameworks Compared: RAGAS vs TruLens vs DeepEval — Analytics Vidhya (2026-07)