인공지능(AI) 시스템의 사실성(Factuality)과 신뢰성(Trustworthiness)은 현재 AI 연구 분야에서 가장 중요한 주제로 떠오르고 있습니다. 특히 대규모 언어 모델(LLM)의 발달로 AI가 생성하는 콘텐츠의 정확성과 신뢰도가 중요한 문제로 부각되었습니다. 그러나 큰 발전에도 불구하고 대부분의 연구자들은 이러한 문제가 가까운 미래에 완전히 해결되기는 어려울 것으로 예상하고 있습니다.
AI 사실성과 신뢰성의 의미
사실성(Factuality)은 AI 시스템이 거짓 정보를 출력하지 않는 능력을 의미합니다. 신경망 기반 대규모 언어 모델의 사실성 향상은 현재 AI 연구에서 가장 큰 영역을 차지하고 있습니다. 구글이 발표한 SimpleQA와 같은 벤치마크 테스트에 따르면, 2024년 12월 기준으로 OpenAI와 Anthropic의 최고 모델조차도 단순하고 명확한 사실 질문의 절반도 정확히 답변하지 못하는 것으로 나타났습니다.
신뢰성(Trustworthiness)은 사실성을 포함하면서 인간 이해 가능성, 견고성, 그리고 인간 가치의 통합과 같은 기준까지 포함하는 더 넓은 개념입니다. 신뢰성 부족은 중요한 응용 분야에 AI 시스템을 배포하는 데 있어 항상 장애물이 되어왔습니다.
AI 사실성과 신뢰성 향상을 위한 접근법
AI 모델 신뢰성의 복합적 차원: 맥락 의존성과 주관적 평가. (출처: ScienceDirect)
1. 파인튜닝(Fine-tuning)
파인튜닝은 과학자들과 엔지니어들이 생성형 AI 시스템의 사실성을 개선하기 위해 사용하는 주요 접근법입니다. 이는 도메인별 문서에 대한 파인튜닝뿐만 아니라 수천 명의 사람들로부터 인간 피드백을 통한 강화 학습(RLHF)을 포함합니다. 그러나 많은 인간 평가자를 고용하는 비용이 AI 시스템 확장의 주요 병목 현상으로 작용하고 있어, 필요한 인간 피드백의 양을 줄이는 방법을 발견하는 데 많은 관심이 집중되고 있습니다.
2. 검색 증강 생성(RAG)
검색 증강 생성(Retrieval-Augmented Generation, RAG)은 생성형 AI의 사실성을 향상시키는 두 번째 주요 기술입니다. 질문에 대한 응답으로 시스템은 전통적인 정보 검색 알고리즘을 사용하여 관련 문서 세트를 수집합니다. 그런 다음 AI 시스템은 검색된 문서를 결합하고 요약하여 답변을 생성하도록 프롬프트됩니다. RAG는 사실성을 향상시킬 수 있지만, 검색된 데이터의 품질에 의존합니다. 예를 들어, 대상 문서 집합이 전체 웹인 경우 잘못된 정보나 심지어 풍자 이야기를 답변에 통합할 수 있습니다.
RAG와 관련되어 Amazon Web Services가 이미 지원하는 “자동화된 추론 검사(automated reasoning checks)”와 같이 생성형 AI 시스템이 사실 확인 도구를 사용할 수 있도록 하는 방법이 있습니다. 이는 시스템에 답변 공간에 제약 조건을 명시하는 규칙 세트를 제공하고, 모델의 출력을 이러한 규칙에 대해 검증하여 일관성 없는 응답을 제거하는 방식입니다.
3. 사고 연쇄(Chain-of-thought)
사고 연쇄(Chain-of-thought, CoT)는 일련의 프롬프트를 통해 질문을 더 작은 단위로 분해합니다. CoT는 종종 모델이 잠정적인 결론을 되돌아보고 환각(hallucination)이 있는지 확인하는 단계를 포함합니다. 또한 CoT 기법을 사용하여 생성형 AI 시스템에게 추론 단계를 설명하거나 결론에 대해 불확실할 때 사용자에게 알리도록 요청함으로써 이해 가능성을 향상시킬 수 있습니다.
연구 과제와 전망
AAAI 커뮤니티의 75% 이상이 사실성과 신뢰성이 자신의 연구와 관련이 있거나 매우 관련이 있다고 강하게 동의했습니다. 설문 조사에서 언급된 사실성 개선을 위한 여섯 가지 접근법(외부 사실 확인 도구, 강화, 데이터 품질 개선, 데이터 큐레이션, 합성 훈련, 새로운 신경망 아키텍처) 모두 지지를 받았습니다. 가장 큰 수요는 새로운 신경망 아키텍처에 대한 더 많은 연구(73%가 중요 또는 매우 중요로 표시)였으며, 그 뒤를 이어 외부 사실 확인 도구(70%)가 있었습니다.
AAAI 커뮤니티는 아래와 같은 사실성과 신뢰성의 추가 측면을 제안했습니다:
- 각각에 대한 장단점을 포함하여 동일한 이슈의 다른 측면을 이해하고 제시하는 능력
- 신뢰성이 도메인 컨텍스트, 조직 목표, 사용자 목표에 따라 달라진다는 이해
- 모델뿐만 아니라 훈련 데이터의 실제 출처에 대한 투명성
- “해결”보다는 위험과 완화에 초점을 맞춘 작업
- AI 에이전트에게 신뢰성을 유지하면서 지식을 업데이트하는 능력 부여
결론
AI 시스템의 사실성과 신뢰성은 현재 AI 연구의 최전선에 있는 중요한 과제입니다. 파인튜닝, 검색 증강 생성, 사고 연쇄와 같은 기술을 통해 상당한 발전이 이루어졌지만, 완전한 해결책은 아직 멀었습니다. AI 시스템이 더 강력해지고 우리 삶의 더 많은 영역에 통합됨에 따라, 사실성과 신뢰성에 대한 지속적인 연구와 개선은 안전하고 유용한 AI를 위해 매우 중요한 요소가 될 것입니다.
연구자들과 AI 사용자 모두가 이러한 한계를 인식하고, AI가 제공하는 정보를 비판적으로 평가하며, AI 시스템의 사실성과 신뢰성을 향상시키기 위한 방법을 계속해서 개발하는 것이 중요합니다. 이는 AI 기술이 가져올 수 있는 혜택을 최대화하면서 위험을 최소화하는 데 도움이 될 것입니다.
Comments