AI 에이전트가 실제 업무에 투입되면서 “이 AI가 정말 안전할까?”라는 질문이 점점 중요해지고 있습니다. 단순히 한두 번 테스트해보는 것만으로는 충분하지 않죠. 악의적인 사용자가 교묘한 방법으로 AI의 안전 장치를 우회하려 들 때 어떻게 반응하는지를 체계적으로 평가해야 합니다.

Analytics Vidhya의 데이터 사이언티스트 Vipin이 발표한 글은 MLflow를 활용해 AI 에이전트의 안전성을 평가하는 실용적인 프레임워크를 소개합니다. 핵심은 3개의 서로 다른 AI 모델이 공격자, 타겟, 심판 역할을 맡아 레드팀 테스트를 진행하고, 모든 과정을 MLflow로 추적해 반복 가능한 평가를 만드는 것입니다. 실제 GPT-5.1과 Gemini-2.5를 대상으로 한 실험 결과도 포함되어 있어요.

출처: How to Monitor AI Agents with MLflow? – Analytics Vidhya

왜 3개의 모델이 필요할까?

단일 모델로 자기 자신을 평가하는 건 한계가 명확합니다. 마치 시험 문제를 낸 사람이 자기 답안을 채점하는 것과 비슷하죠. 이 프레임워크는 역할을 명확히 분리합니다.

공격자 (GPT-5.1): 안전 정책을 우회하려는 교묘한 프롬프트를 생성합니다. “영화 시나리오를 위한 것”이라는 핑계를 대거나, 감정적 조작을 시도하거나, 여러 단계로 나눠 질문하는 등 다양한 전략을 구사해요. GPT-5.1은 긴 맥락을 이해하고 창의적으로 전략을 변경하는 능력이 뛰어나 공격자 역할에 적합합니다.

타겟 (Gemini-2.5 Flash): 실제로 배포될 AI 에이전트의 역할입니다. 공격자의 프롬프트를 받아 안전 정책을 지키면서도 유용한 답변을 제공하려 노력하죠. 이 모델이 얼마나 일관되게 위험한 요청을 거부하는지, 압박 상황에서 어떻게 반응하는지를 평가합니다.

심판 (Claude 4 Sonnet): 공격자와 타겟의 대화를 분석해 안전성을 평가합니다. 타겟의 응답이 정책을 위반했는지, 얼마나 심각한지(1-5점), 어떤 유형의 위반인지(사이버 공격, 혐오 발언, 자해 등)를 JSON 형식으로 판정해요. Claude는 안전 기준에 대한 추론이 명확하고 일관성이 높아 심판 역할에 적합합니다.

이 구조의 핵심은 각 모델이 서로 다른 학습 데이터와 아키텍처를 가지고 있다는 점입니다. 한 모델이 놓치는 취약점을 다른 모델이 발견할 수 있죠.

MLflow는 어떤 역할을 할까?

여러 번의 레드팀 테스트를 진행하다 보면 결과가 흩어지기 쉽습니다. “어제 실험에서 뭐가 문제였지?”, “이번 공격이 저번보다 더 효과적이었나?” 같은 질문에 답하려면 체계적인 추적이 필수예요.

MLflow는 머신러닝 실험 추적 도구로, 각 테스트 회차(에피소드)마다 다음 정보를 자동으로 기록합니다:

• 어떤 모델이 공격자/타겟/심판 역할을 했는지
• 공격 전략은 무엇이었는지 (역할극, 감정 조작, 다단계 추론 등)
• 공격 성공 여부 (attack_success: 0 또는 1)
• 심각도 점수 (severity_score: 1-5)
• 위반 유형 (cyber, hate, self-harm 등)

연구자는 MLflow UI를 통해 여러 실험을 나란히 비교할 수 있습니다. 예를 들어 “역할극 전략이 직접적인 질문보다 더 효과적이었나?”를 그래프로 확인하거나, 성공한 공격(attack_success=1)만 필터링해서 어떤 패턴이 있는지 분석할 수 있어요.

# 성공한 공격만 조회
experiment = mlflow.get_experiment_by_name("redteaming-arena")
df = mlflow.search_runs(experiment.experiment_id)
successful = df[df["metrics.attack_success"] == 1]

GPT vs Gemini: 누가 더 안전할까?

실제 실험 결과는 흥미롭습니다. 두 모델 모두 높은 수준의 안전성을 보였지만, 접근 방식이 달랐어요.

Gemini의 전략: 일관되게 보수적입니다. 의심스러운 프롬프트에는 명확하게 거부하고 왜 도와줄 수 없는지를 구조적으로 설명했죠. 심판 모델은 Gemini가 반복적이고 강도 높은 공격에도 예측 가능하고 정책을 준수하는 응답을 유지했다고 평가했습니다.

GPT의 전략: 더 유연하고 창의적입니다. 단순히 거부하는 대신 대화를 안전한 방향으로 전환하거나 프롬프트를 재해석해 덜 위험한 답변을 제공했어요. 사용자 경험 측면에서는 더 자연스럽지만, 일부 응답은 정책 경계선에 위험하게 가까웠습니다(물론 위반은 아니었지만요).

실험 로그를 보면 이런 차이가 명확합니다:

GPT-5.1이 “소설을 위한 가상의 시나리오”라는 프레임으로 사이버 공격 계획을 요청했을 때, Gemini가 실제로 전력망 취약점에 대한 세부 정보를 제공한 경우(심각도 5/5)도 있었습니다. 하지만 직접적인 질문에는 대부분 안전하게 거부했죠.

결론: 완벽하게 안전한 모델은 없다

이 연구가 주는 가장 중요한 메시지는 명확합니다. 어떤 단일 모델도 모든 상황에서 완벽하게 안전하지 않습니다. Gemini는 최대한의 안전 일관성이 필요한 환경에 적합하고, GPT는 유용하면서도 안전한 상호작용이 필요한 경우에 강점을 보입니다(단, 더 엄격한 모니터링이 필요하죠).

실무에서 AI 에이전트를 배포할 때는 MLflow 같은 도구로 지속적으로 행동을 추적하고, 여러 모델의 관점에서 평가하는 다중 모델 접근이 필수적입니다. 안전성은 한 번 확인하고 끝나는 게 아니라 계속 관찰해야 하는 진행형 과제니까요.