LLM 설명 가능성(LLM Explainability)은 대규모 언어 모델이 특정 출력을 생성한 이유를 인간이 이해할 수 있는 형태로 해석하는 기법과 방법론의 총칭이다. LLM이 의료·법률·금융 등 고위험 도메인에서 활용될수록 “왜 이런 답을 냈는가”를 추적하는 능력이 신뢰성 확보와 오류 디버깅의 핵심이 된다.
왜 LLM은 블랙박스인가
트랜스포머(Transformer) 기반 LLM은 수십억 개 파라미터가 복잡하게 얽혀 있어 입력이 출력으로 변환되는 과정을 직관적으로 추적하기 어렵다. 전통적인 선형 회귀나 결정 트리처럼 “이 피처가 예측에 얼마나 기여했는가”를 바로 읽어낼 수 없다.
핵심 문제:
- 수십억 파라미터의 비선형 상호작용
- 레이어를 거듭할수록 추상화된 표현(representation)
- 동일 입력이라도 컨텍스트에 따라 다른 처리 경로
- 환각(hallucination) 발생 원인 불명확
주요 설명 가능성 기법
1. 어텐션 시각화 (Attention Visualization)
어텐션 가중치(attention weight)를 시각화해 모델이 출력 생성 시 입력의 어느 부분에 집중했는지 확인한다. 직관적이지만, 어텐션이 반드시 인과관계를 나타내지는 않는다는 한계가 있다.
2. 프로빙 분류기 (Probing Classifiers)
모델 내부 레이어의 표현(hidden state)에 단순한 분류기를 학습시켜 특정 레이어가 문법·감정·개체명 등의 언어 속성을 어떻게 인코딩하는지 파악한다.
3. 그래디언트 기반 방법 (Gradient-Based Methods)
입력 토큰이 출력에 미치는 영향을 그래디언트로 측정한다. Saliency Map, Integrated Gradients 등이 여기에 속한다.
4. LIME (Local Interpretable Model-Agnostic Explanations)
입력의 일부를 교란(perturbation)해 모델 동작을 국소적으로 근사하는 해석 가능한 대리 모델(surrogate model)을 생성한다. 특정 예측에 어떤 토큰이 결정적이었는지 알 수 있다.
5. SHAP (SHapley Additive exPlanations)
게임 이론의 샤플리 값(Shapley value)을 이용해 각 입력 피처의 평균 기여도를 계산한다. LLM에 적용하면 어떤 문장이나 토큰이 출력에 얼마나 기여했는지를 수치로 표현한다.
기법 비교
| 기법 | 계산 비용 | 충실도 | 직관성 |
|---|---|---|---|
| 어텐션 시각화 | 낮음 | 중간 | 높음 |
| 프로빙 분류기 | 중간 | 높음 | 중간 |
| 그래디언트 방법 | 중간 | 높음 | 중간 |
| LIME | 낮음 | 낮음(국소) | 높음 |
| SHAP | 높음 | 높음 | 높음 |
설명 가능성이 필요한 상황
- 오류 디버깅: 모델이 잘못된 답을 낼 때 원인 추적
- 편향 감지: 특정 그룹에 대한 차별적 처리 확인
- 규제 준수: EU AI Act 등 설명 요구 규제 대응
- 사용자 신뢰 구축: 의사결정 근거를 사람이 검토할 수 있도록 함
- 파인튜닝 방향 결정: 모델의 약점을 파악해 개선 방향 설정
한계와 주의사항
설명 가능성 기법은 모델의 실제 의사결정을 완전히 반영하지 못할 수 있다. 어텐션 가중치가 높다고 해서 해당 토큰이 출력을 인과적으로 결정한다는 의미는 아니며, LIME·SHAP도 근사값이다. 설명을 참고 자료로 활용하되 절대적 진실로 취급하지 않아야 한다.
참고 자료
- A Gentle Primer on LLM Explainability — KDnuggets (2026-06-02)