AI 환각(hallucination)은 LLM이나 생성 모델이 사실과 맞지 않거나 제공된 근거로 뒷받침되지 않는 결과를 자신 있게 만드는 현상이다. 모델은 진실을 데이터베이스처럼 조회하는 대신 다음에 그럴듯할 토큰을 예측하므로, 모르는 정보를 빈칸 채우기 방식으로 만들어낼 수 있다.
왜 생기나
- 학습 데이터의 오류·누락·시점 차이와, 현재 정보가 없는 지식 공백이 있다.
- 애매하거나 과도하게 넓은 질문은 모델에 추측할 여지를 준다.
- 높은 창의성 설정과 ‘반드시 답하라’는 프롬프트는 불확실성 표명을 억제할 수 있다.
- 검색 결과나 도구 출력 자체가 틀렸거나 잘못 연결되면, 모델은 그 근거를 정교하게 꾸밀 수 있다.
환각은 모델만의 결함으로 환원하기 어렵다. 입력 데이터, 검색, 프롬프트, 권한, 최종 검토를 포함한 시스템 실패 모드다.
줄이는 운영 통제
| 통제 | 적용 방법 |
|---|---|
| 근거 제공 | 최신·권위 있는 문서를 검색해 인용 가능한 조각만 넣는다 |
| 출력 제약 | JSON 스키마, 허용된 값 목록, 출처 필드를 강제한다 |
| 검증 | 계산·재고·정책은 LLM 대신 API·테스트·규칙 엔진으로 확인한다 |
| 평가 | 실제 업무 질문에 대해 정확성, 인용 적합성, 거절 품질을 계속 측정한다 |
| 사람 승인 | 의료·법률·금융·대외 발행처럼 피해가 큰 결과는 검토 단계에 둔다 |
‘답변 길이를 짧게’ 하는 것은 표면적 오류를 줄일 수 있지만 정확성의 증명은 아니다. 잘 모르면 모른다고 답하고, 확인 가능한 출처를 함께 반환하도록 제품 흐름을 설계해야 한다.
관련 문서
- rag — 외부 근거를 검색해 답변에 넣는 구조
- llm-evaluation-tips-frameworks — LLM 출력의 신뢰성을 평가하는 프레임워크
- g-eval — 루브릭 기반 LLM Judge 평가 방법
참고 자료
- What Are AI Hallucinations? — Databricks (2026-08-17)