마이크로소프트는 Copilot을 모든 Windows에 탑재하며 “미래의 필수 업무 도구”로 홍보했습니다. 그런데 공식 이용약관에는 전혀 다른 말이 적혀 있습니다. “오락 목적으로만 사용하고, 스스로 책임지고 쓰세요.”
이 간극은 마이크로소프트만의 이야기가 아닙니다. AI 에이전트가 기업 내 HR·재무·공급망 의사결정을 대신하는 시대로 빠르게 이동하면서, “잘못됐을 때 누가 책임지는가”라는 질문이 법률가, 기업, 벤더 모두에게 불편한 숙제로 남아 있습니다.
출처: Who is liable when AI agents go wrong in business? – The Register
약관 속 작은 글씨
마이크로소프트 Copilot의 이용약관(2025년 10월 업데이트)은 이 소프트웨어가 “오락 목적”임을 명시하고, 중요한 결정에 활용하지 말라고 경고합니다. xAI 역시 자사 AI가 “확률적 특성상 환각(hallucination)을 포함한 출력을 생성할 수 있다”고 적시합니다.
이런 면책 조항은 법무팀이 작성합니다. 마케팅 부서가 “게임 체인저”를 외칠 때, 변호사들은 조용히 반대 방향으로 선을 긋고 있는 셈입니다.
벤더와 기업 사이의 책임 밀어내기
기업들은 계약을 통해 벤더에게 책임을 묻고 싶어합니다. 하지만 현실은 다릅니다. 영국 법률사무소 Pinsent Masons의 기술 전문 변호사 Malcolm Dowden은 이렇게 설명합니다. 일반적인 소프트웨어는 동작이 예측 가능해 워런티(품질 보증)를 걸 수 있지만, AI는 본질적으로 비결정론적입니다. 예측할 수 없는 시스템에 대해 “이렇게 작동할 것”이라고 법적으로 보증하는 건 매우 불편한 계약이 됩니다.
현재 협상 테이블에서 실제로 오가는 내용은 이렇습니다.
- 벤더가 “편향 테스트를 실시하고 정기적으로 업데이트한다”고 약속
- 단, 편향의 원인이 사용자의 프롬프트 구성 방식에 있다면 책임 없음
- 기업은 데이터 컨트롤러로서 자동화 의사결정에 대한 법적 책임 부담
- 기업은 다시 벤더에게 “모델 내 편향 없음”을 계약으로 요구
양측 모두 상대방을 책임 주체로 만들려 하는 구조입니다.
법이 따라가지 못하는 이유
Linklaters의 디지털·데이터법 파트너 Georgina Kon은 현행법의 근본적 한계를 지적합니다. 기존 법체계는 “인간 또는 법인이 어떤 행위를 한다”는 전제 위에 설계됐습니다. AI 에이전트는 그 전제를 벗어납니다.
가트너는 2026년 중반까지 AI 기반 불법 의사결정으로 인한 피해 처리 비용이 전 세계적으로 100억 달러를 넘어설 것으로 전망합니다. 특히 에이전트 AI의 위험은 인간의 의사결정과 달리 속도와 규모에 있습니다. 잘못된 판단이 누군가 인지하기도 전에 연쇄적으로 확산될 수 있습니다.
영국 회계감사 규제기관 FRC는 “기술이 바뀌어도 원칙은 바뀌지 않는다”며 책임은 사람과 조직에 있다고 못 박았습니다. “박스를 탓할 수는 없습니다. 이 기술을 쓰면, 여전히 당신이 책임자입니다.”
AI가 실제로 실수를 했을 때
아마존에서는 AI 코딩 봇이 충분한 감독 없이 코드를 변경해 AWS 서비스 장애로 이어진 사례가 두 건 이상 있었습니다. 아마존은 이를 “사용자 오류”로 분류했습니다. 이 사례는 기술적 실패가 아니라 책임 귀속의 문제를 다시 부각시킵니다. AI가 실수를 해도, 그 실수는 도구를 잘못 사용한 인간의 실수가 됩니다.
The Register가 마이크로소프트·SAP·Workday·세일즈포스 등 주요 AI 벤더에 “얼마나 책임을 수용하느냐”고 물었을 때, 마이크로소프트와 SAP는 코멘트를 거부했고 나머지는 응답하지 않았습니다.
시장이 이 문제를 정리하고, 판례가 쌓이기 전까지 법적 책임의 공백은 당분간 계속될 전망입니다. AI에 의사결정을 맡기는 기업은 그 공백을 스스로 메워야 하는 상황입니다. The Register 원문에는 “방어 가능한 AI(defensible AI)”라는 개념과 함께 법률 전문가들의 추가 인터뷰가 담겨 있습니다.
참고자료:
답글 남기기