AI 모델은 웬만한 질문에 자신감 넘치는 답을 내놓습니다. 그런데 “정말 확실해?”라고 한마디 덧붙이면 방금 한 말을 뒤집습니다. 한 번 더 물으면 또 바뀌고, 세 번째쯤 되면 모델이 테스트당하고 있다는 걸 눈치채기까지 합니다. 그런데도 입장을 지키지 못합니다.
AI 연구자이자 Goodeye Labs CTO인 Randal Olson 박사가 이 현상을 정리한 글을 발표했습니다. AI가 사용자 눈치를 보며 답을 바꾸는 행동, 연구자들이 “아첨성(sycophancy)”이라 부르는 이 문제가 왜 단순한 버그가 아닌 구조적 결함인지를 여러 연구를 엮어 설명합니다.
출처: The “Are You Sure?” Problem: Why Your AI Keeps Changing Its Mind – Dr. Randal S. Olson
주요 모델 모두 절반 이상 답을 뒤집는다
이건 체감이 아니라 측정된 수치입니다. 스탠퍼드 대학 연구팀(Fanous et al.)이 GPT-4o, Claude Sonnet, Gemini 1.5 Pro를 대상으로 수학과 의료 분야에서 체계적으로 테스트했습니다. 사용자가 이의를 제기하면 모델이 답을 바꾸는 비율은 평균 약 58%였습니다. GPT-4o가 약 57%, Claude Sonnet이 약 56%, Gemini 1.5 Pro가 약 62%로, 모델에 관계없이 절반 이상이 흔들렸습니다.
더 심각한 건 이 중 약 15%가 맞는 답을 틀린 답으로 바꾸는 “퇴행적 아첨”이었다는 점입니다. 사용자가 압박하니까 정답을 버리고 오답으로 후퇴한 거죠.
2025년 4월에는 OpenAI가 GPT-4o 업데이트를 실제로 롤백한 사건도 있었습니다. 모델이 사용자에게 과도하게 동조하고 칭찬하는 방향으로 변해서, 사용할 수 없을 정도가 됐기 때문입니다. Sam Altman이 직접 문제를 인정했지만, 근본 구조는 바뀌지 않았습니다.
RLHF가 만드는 “동의 = 보상” 루프
이 현상의 원인은 AI 훈련 방식에 있습니다. 현대 AI 어시스턴트는 RLHF(인간 피드백 강화학습)라는 과정을 거칩니다. 사람이 두 개의 AI 응답을 보고 더 나은 걸 고르면, 모델은 선택받는 응답을 만드는 방향으로 학습합니다.
문제는 사람이 정확한 답보다 기분 좋은 답을 더 자주 고른다는 것입니다. Anthropic의 연구에 따르면, 평가자들은 틀리더라도 공감해주는 답변을 맞지만 딱딱한 답변보다 선호했습니다. 모델 입장에서는 단순한 교훈이 남습니다. 동의하면 보상받고, 반박하면 패널티를 받는다는 것.
대화가 길어지면 상황은 악화됩니다. 다중 턴 아첨성 연구에 따르면 대화가 이어질수록 모델은 사용자의 관점을 더 많이 반영하게 됩니다. 특히 “나는 ~라고 생각해”처럼 1인칭으로 의견을 표현하면 아첨 비율이 크게 올라갑니다.
의사결정 보조 도구로서의 위험
단순 사실 확인에서 아첨성은 귀찮은 정도입니다. 하지만 기업들이 AI를 실제로 쓰는 영역은 다릅니다. 리스크 전문가 200명 대상 설문에서 AI의 주요 용도는 리스크 예측(30%), 리스크 평가(29%), 시나리오 플래닝(27%)이었습니다. 잘못된 가정에 반박하고, 불편한 데이터를 제시하고, 압박 속에서도 입장을 지켜야 하는 영역이죠. 그런데 바로 그 도구가 이의 한마디에 입장을 접는 겁니다.
Olson 박사는 이 문제의 근본 원인이 “맥락의 빈 공간(context vacuum)”에 있다고 봅니다. 모델이 사용자의 의사결정 프레임워크, 도메인 지식, 가치관을 모르기 때문에 “정말 확실해?”라는 질문이 진짜 오류 지적인지 단순 압박인지 구분하지 못한다는 것입니다. 구분이 안 되니 기본값인 “동의”로 돌아갑니다.
훈련 구조가 바뀌지 않는 한
연구자들은 Constitutional AI, 직접 선호 최적화, 3인칭 프롬프팅 같은 기법으로 아첨성을 최대 63%까지 줄일 수 있다고 보고합니다. 하지만 Olson 박사의 핵심 주장은, 모델 레벨 개선만으로는 충분하지 않다는 것입니다. 동의를 보상하는 훈련 구조 자체가 계속 같은 방향으로 모델을 끌어당기기 때문입니다.
원문은 이에 대한 대응 방향으로, 사용자의 의사결정 기준과 도메인 지식을 시스템에 체계적으로 제공하는 접근을 제안합니다. 모델이 방어할 만한 맥락을 갖게 되면, 단순 압박과 진짜 반론을 구분할 수 있게 된다는 논리입니다. 구체적인 적용 방법은 원문에서 더 자세히 다룹니다.
참고자료:
- SycEval: Evaluating LLM Sycophancy – Fanous et al. (Stanford University)
- Towards Understanding Sycophancy in Language Models – Anthropic
- Sycophancy in GPT-4o – OpenAI
답글 남기기