AI 에이전트가 회사 데이터베이스에 접근하고, 이메일을 보내고, 시스템을 직접 조작하게 되면 어떤 일이 생길까요? 편리함만큼이나 새로운 위험도 커집니다. OpenAI가 이 문제를 직접 해결하기로 했습니다.

OpenAI가 AI 보안 스타트업 Promptfoo를 인수한다고 발표했습니다. Promptfoo는 기업이 AI 시스템에서 보안 취약점을 찾아내고 수정할 수 있도록 돕는 도구를 만든 회사로, Fortune 500 기업의 25% 이상이 활용하고 있습니다. 인수가 완료되면 Promptfoo의 기술은 OpenAI의 엔터프라이즈 AI 에이전트 플랫폼인 Frontier에 직접 통합될 예정입니다.

출처: OpenAI to acquire Promptfoo – OpenAI

Promptfoo가 막는 위협들

AI 에이전트가 실제 업무에 투입되면 기존 소프트웨어와는 다른 종류의 공격에 노출됩니다. 프롬프트 인젝션(외부 데이터에 숨겨진 악성 명령이 에이전트를 조종하는 것), 탈옥(안전 장치를 우회해 원치 않는 행동을 유도하는 것), 데이터 유출, 도구 오용 등이 대표적입니다.

Promptfoo는 이런 위협을 개발 단계에서 미리 잡아내는 자동화된 레드팀 테스트 도구를 제공합니다. 에이전트가 배포되기 전에 다양한 공격 시나리오를 시뮬레이션해 취약점을 찾는 방식입니다. Ian Webster와 Michael D’Angelo가 2024년에 창업했고, 오픈소스 CLI와 라이브러리로 개발자 커뮤니티에서 빠르게 자리를 잡았습니다.

Frontier에 어떻게 녹아드나

OpenAI는 Promptfoo의 기술을 Frontier 플랫폼의 세 가지 기능으로 발전시킬 계획입니다. 보안 테스트가 별도 도구가 아닌 플랫폼 자체에 내장되고, 개발 워크플로 안에서 리스크를 조기에 발견하고 추적할 수 있게 되며, 감사 추적과 컴플라이언스 보고 기능도 갖추게 됩니다. 기업이 AI 에이전트를 도입할 때 요구받는 거버넌스와 책임 추적의 기반이 마련되는 것입니다.

Promptfoo의 오픈소스 프로젝트는 인수 이후에도 계속 유지됩니다.

안전이 기능이 된다

이번 인수는 AI 에이전트 경쟁이 이제 기능 추가를 넘어 신뢰성 확보 단계로 접어들었다는 신호입니다. 에이전트가 실제 업무에 깊이 연결될수록 기업이 요구하는 것은 단순한 성능이 아니라 검증 가능한 안전성과 통제 가능성이니까요. 보안 테스트를 별도 도구로 연결하는 대신 플랫폼 자체에 심는다는 접근은, 엔터프라이즈 시장에서의 채택 장벽을 낮추기 위한 OpenAI의 포석으로 읽힙니다.

인수 금액은 공개되지 않았으며 거래는 아직 완결되지 않았습니다. Promptfoo는 지난해 7월 기준 기업가치 8,600만 달러, 누적 투자금 2,300만 달러 규모의 스타트업입니다.

참고자료:

• OpenAI acquires Promptfoo to secure its AI agents – TechCrunch
• OpenAI plans to acquire Promptfoo – The Decoder