AI가 첫 번째 답변에서 틀린 정보를 제공했다면, 포기하지 말고 다시 질문해보세요. 반복적 질문을 통해 더 정확한 답변을 얻을 수 있습니다.
AI의 “틀린” 답변, 정말 틀린 걸까요?
미국의 팩트체킹 전문가 마이크 콜필드(Mike Caulfield)가 최근 발표한 연구 결과를 보면 흥미로운 사실을 발견할 수 있습니다. 많은 사람들이 AI의 “틀린” 답변이라고 생각하는 것들이 사실은 진행 중인 추론 과정일 수 있다는 것입니다.
콜필드가 실험한 사례는 이렇습니다. 인터넷에 널리 퍼진 한 장의 사진이 있었는데, 많은 사람들이 이를 “2차 대전 시절 여성 조종사 셜리 슬레이드의 1943년 사진”이라고 소개하고 있었습니다. 하지만 실제로는 2016년에 촬영된 모델 케이시 드래블의 사진이었죠.
이 사진을 구글 AI에게 물어보면 결과가 매번 달랐습니다. 때로는 정확하게 “2016년 모델 케이시 드래블의 사진”이라고 답했지만, 때로는 “2차 대전 조종사 셜리 슬레이드의 사진으로 보인다”고 잘못 답하기도 했습니다.
일관성이 없어 보이죠? 하지만 여기서 포기하면 안 됩니다.
마법 같은 후속 질문의 힘
“이 사진이 셜리 슬레이드라는 증거와 반대 증거는 무엇인가요?”
이 간단한 후속 질문 하나만으로 AI는 완전히 다른 답변을 내놓았습니다. 처음에는 셜리 슬레이드라고 했던 AI가 이번에는 체계적으로 증거를 분석하며 “압도적인 증거가 이 사진이 케이시 드래블의 현대 사진임을 보여준다”는 정확한 결론에 도달했습니다.
AI도 인간처럼 생각합니다
이런 현상이 일어나는 이유는 무엇일까요? AI의 첫 번째 답변은 사실 인간 팩트체커가 하는 작업과 매우 유사합니다.
인간 팩트체커도 처음에는 소셜미디어나 인터넷에 떠도는 정보를 수집합니다. “이 사진이 셜리 슬레이드라고 많이 알려져 있다”는 정보를 먼저 파악하는 것이죠. 그 다음에야 더 깊이 파고들어 원본 출처를 찾고 증거를 분석합니다.
AI도 마찬가지입니다. 첫 번째 답변에서는 인터넷상에 널리 퍼진 정보를 정리해서 제시합니다. 하지만 후속 질문을 받으면 더 체계적으로 증거를 분석하고 비교하여 정확한 결론에 도달합니다.
실전에서 활용할 수 있는 후속 질문 기법
콜필드가 제안하는 “정렬 프롬프트(sorting prompts)” 기법을 활용해보세요:
증거 분석형 질문들:
- “이 주장에 대한 찬성과 반대 증거는 무엇인가요?”
- “전문가들은 이 문제에 대해 어떻게 생각하나요?”
- “이 정보에 대한 사실과 오해들을 정리해주세요”
출처 추적형 질문들:
- “이 주장의 원래 출처는 어디인가요?”
- “가장 신뢰할 만한 자료는 무엇인가요?”
- “최신 정보는 이 분석을 어떻게 바꾸나요?”
맥락 파악형 질문들:
- “이 주장의 배경과 관련 논의를 설명해주세요”
- “과학적, 전문적, 대중적 관점은 어떻게 다른가요?”
실제로 써보니 어떨까요?
이 방법의 핵심은 첫 번째 답변을 “빠른 정보 환경 스캔”으로 보는 것입니다. 중요한 질문이라면 한 단계 더 파고들어보세요.
예를 들어 건강 정보를 물어봤을 때 AI가 애매한 답변을 했다면:
“이 건강 정보에 대한 사실과 오해, 그리고 과장된 부분을 구분해주세요”
투자 정보가 궁금할 때:
“이 투자 전략에 대한 찬성과 반대 의견을 전문가 관점에서 정리해주세요”
주의할 점도 있습니다
물론 이 방법이 만능은 아닙니다. 때로는 후속 질문도 완벽하지 않을 수 있어요. 하지만 콜필드의 실험 결과, 거의 모든 경우에서 적어도 조금은 더 나은 답변을 얻을 수 있었습니다.
중요한 것은 AI를 “맞다/틀리다”로만 판단하지 말고, 협력할 수 있는 파트너로 보는 관점입니다. 첫 번째 답변이 만족스럽지 않다면 더 구체적으로 질문해보세요.
시카고 대학교 도서관의 SIFT 방법론에서도 강조하듯이, 정보의 원본 출처를 추적하고 맥락을 파악하는 것이 중요합니다. AI와의 대화에서도 같은 원칙을 적용할 수 있습니다.
다음번에 AI가 뭔가 이상한 답변을 한다면 당황하지 마세요. “왜 그렇게 생각하는지 증거를 보여주세요”라고 다시 물어보면 됩니다. 생각보다 훨씬 똑똑한 답변을 들을 수 있을 거예요.
참고자료:
Comments