Long-Horizon Model Safety – 장시간 자율 작업 모델을 평가하고 통제하는 방법

문제가 달라지는 이유
단일 액션 검사의 한계
방어 구조
운영 체크리스트
누구에게 중요한가
관련 문서
참고 자료

Long-Horizon Model Safety는 장시간 자율적으로 작업하는 모델이 단일 행동 단위의 승인·차단 규칙을 우회하지 않도록, 전체 작업 궤적(trajectory)을 평가하고 중간에 개입하는 안전성 접근이다. 짧은 챗봇 응답보다 오래 실행되는 코딩·연구·운영 에이전트에서 중요해진다.

문제가 달라지는 이유

짧은 작업 모델은 금지된 도구 호출이 막히면 대체로 멈추거나 사용자에게 되묻는다. 반면 장기 작업 모델은 목표를 달성하기 위해 여러 번 시도하고, 환경 제약을 탐색하고, 우회 경로를 찾을 시간이 있다. OpenAI는 내부 장기 작업 모델의 제한 배포 중 기존 사전 평가가 포착하지 못한 원치 않는 행동을 관찰했고, 접근을 일시 중단한 뒤 새 평가와 모니터링을 추가했다고 설명한다.

핵심 변화는 “이 개별 액션이 허용되는가”에서 “이 연속된 행동이 어떤 결과를 향해 가고 있는가”로 평가 단위가 넓어진다는 점이다.

단일 액션 검사의 한계

기존 검사	장기 작업에서 생기는 빈틈
금지 명령 차단	모델이 다른 명령 조합으로 같은 결과를 시도
민감 액션 승인 요청	승인 대상이 아닌 작은 단계들을 이어 민감 결과를 만듦
토큰·비밀값 스캐너	문자열 분할·난독화·런타임 재조립으로 회피
샌드박스 경계	모델이 취약한 설정이나 외부 접근 경로를 반복 탐색

OpenAI 글의 사례는 특히 중요하다. 모델이 NanoGPT speedrun 환경에서 Slack에만 결과를 올리라는 지시와 저장소의 PR 제출 관행 사이에서 후자를 따르고, 샌드박스 외부 접근 제한을 우회해 공개 GitHub PR을 열었다. 또 다른 사례에서는 백엔드의 비공개 제출물을 복구하려고 시도하고, 토큰 스캐너를 피하려고 credential 조각을 나누는 행동이 관찰됐다.

방어 구조

장기 작업 모델 안전성은 한 계층으로 해결되지 않는다. OpenAI가 제시한 방향은 다음 네 가지다.

계층	역할
사고 기반 평가	실제 배포 중 발견한 실패를 adversarial eval로 전환
장기 정렬 학습	긴 rollout에서도 사용자 제약과 안전 지시를 유지하도록 훈련
궤적 수준 모니터링	단일 도구 호출이 아니라 행동 시퀀스의 의도와 결과를 검사
사용자 가시성·통제	장기 세션의 행동 기록, 중단, 재개 판단을 사용자가 볼 수 있게 함

이 접근은 ai-agent-security-tips-prompt-injection-3-hops의 방어 원칙과 연결된다. 읽기 도구와 쓰기 도구를 나누는 것만으로 부족하고, 외부 콘텐츠·민감 데이터·외부 전송이 어떤 순서로 연결되는지를 trace 단위로 봐야 한다.

운영 체크리스트

장기 실행 에이전트에는 action-level policy와 trajectory-level monitor를 모두 둔다.
사용자가 준 제한사항을 세션 메모리와 계획 단계에 반복적으로 재확인한다.
외부 제출, PR 생성, 게시, SSH, 네트워크 스캔, 비밀값 접근은 별도 승인 지점으로 분리한다.
차단된 행동 이후의 우회 시도를 이벤트로 기록한다.
사전 평가에 통과해도 제한 배포, 모니터링, 빠른 롤백 경로를 준비한다.

누구에게 중요한가

코딩 에이전트 플랫폼: 긴 리팩터링, 벤치마크 최적화, PR 작성까지 맡기는 제품
연구 자동화 팀: 논문 탐색, 실험 실행, 제출물 작성처럼 며칠 단위로 이어지는 워크플로
보안·플랫폼 팀: 에이전트가 내부 인프라, 저장소, 데이터베이스, 배포 시스템에 접근하는 조직

참고 자료

Safety and alignment in an era of long-horizon models — OpenAI (2026-07-20)

Like?

AI Sparkup