OpenAI가 6년 만에 내놓은 첫 오픈소스 모델 gpt-oss가 Microsoft Phi 시리즈와 같은 합성 데이터 훈련 방식을 따르고 있어, 벤치마크 성능은 뛰어나지만 실제 활용에서는 한계를 보일 가능성이 높다는 분석이 나오고 있습니다.
OpenAI의 오픈소스 복귀, 그런데 뭔가 다르다
OpenAI가 지난 8월 5일 발표한 gpt-oss-120b와 gpt-oss-20b는 GPT-2 이후 6년 만의 오픈소스 모델입니다. Apache 2.0 라이선스로 공개된 이 모델들은 각종 벤치마크에서 인상적인 성과를 보였습니다. 120B 모델은 OpenAI의 o4-mini와 거의 동등한 성능을, 20B 모델은 o3-mini와 비슷한 결과를 보여줍니다.
하지만 실제 사용자들의 반응은 엇갈립니다. 일부는 모델의 기술적 역량을 높이 평가하지만, 다른 이들은 일반 상식이나 대중문화 지식이 부족하다고 지적합니다. 특히 SimpleQA 같은 실용적 벤치마크에서는 예상보다 낮은 성능을 보였습니다.
Phi 모델의 합성 데이터 접근법
이런 특징은 Microsoft의 Phi 시리즈 모델과 놀랍도록 유사합니다. 2024년 Sebastien Bubeck이 주도한 Phi 모델들의 핵심 아이디어는 웹에서 수집한 자연 데이터 대신 AI가 생성한 합성 데이터로만 훈련하는 것이었습니다.
합성 데이터 방식의 장점은 명확합니다. 훈련 데이터를 완전히 통제할 수 있어 고품질 콘텐츠만 선별할 수 있습니다. Microsoft는 Phi-4 모델에서 400억 개의 토큰으로 구성된 50개의 합성 데이터셋을 사용했습니다. 웹 콘텐츠를 AI가 문제-답변 형태로 재구성하고, 오픈소스 코드를 바탕으로 질문을 생성하는 등 체계적인 방법을 활용했습니다.
문제는 이런 방식이 “시험용 훈련”이 되기 쉽다는 점입니다. 벤치마크와 유사한 합성 데이터를 생성하면 해당 테스트에서는 뛰어난 성과를 보이지만, 실제 다양한 상황에서는 제한적인 성능을 보입니다. Phi 시리즈 모델들이 모두 이런 패턴을 보여왔습니다.
인재 이동으로 이어진 기술 철학
흥미롭게도 Phi 시리즈를 주도했던 Sebastien Bubeck은 2024년 말 Microsoft를 떠나 OpenAI로 이직했습니다. OpenAI의 gpt-oss 모델 개발에 그가 참여했는지는 공식적으로 확인되지 않았지만, 모델의 특성을 보면 Phi 스타일 접근법의 영향이 뚜렷합니다.
OpenAI는 gpt-oss 모델이 “고품질 합성 데이터와 엄선된 유기 데이터”로 훈련되었다고 밝혔습니다. 구체적인 훈련 과정은 공개하지 않았지만, 결과물의 특성은 전형적인 합성 데이터 훈련 모델의 양상을 보입니다.
오픈소스 AI의 안전성 딜레마
OpenAI가 왜 이런 방식을 선택했을까요? 핵심은 안전성입니다. 오픈소스 모델은 한번 공개되면 누구나 파인튜닝해서 안전장치를 우회할 수 있습니다. 실제로 소규모 로컬 AI 모델 커뮤니티에서는 성인 콘텐츠 생성이 주요 활용 사례 중 하나입니다.
합성 데이터 훈련은 이런 위험을 줄입니다. 교과서나 엄선된 콘텐츠로만 훈련하면 애초에 부적절한 행동 패턴을 학습하지 않습니다. OpenAI는 심지어 악의적 파인튜닝을 시뮬레이션해서 안전성을 검증했습니다. 생물학과 사이버보안 데이터로 모델을 악의적으로 재훈련해봤지만, 위험한 수준의 역량은 나타나지 않았다고 발표했습니다.
전략적 선택의 이면
OpenAI 입장에서는 합리적인 선택입니다. 중국의 오픈소스 모델들과 벤치마크 경쟁에서 이기면서도, 안전 논란을 피할 수 있는 방법이기 때문입니다. Meta와 달리 OpenAI의 핵심 사업은 폐쇄형 모델이므로, 오픈소스 모델이 실제로 뛰어날 필요는 없습니다.
RedTeaming 챌린지에 50만 달러 상금을 걸고 안전성 검증에 대한 투명성을 강조하는 것도 같은 맥락입니다. “우리는 안전하게 오픈소스를 하고 있다”는 메시지를 전달하려는 것으로 보입니다.
AI 업계에 주는 시사점
이번 사례는 AI 업계에 몇 가지 중요한 교훈을 제공합니다. 첫째, 벤치마크 성능과 실제 유용성은 다를 수 있다는 점입니다. 특히 합성 데이터로 훈련된 모델들은 이런 격차가 클 가능성이 높습니다.
둘째, 오픈소스 AI 모델의 안전성은 여전히 해결해야 할 과제라는 점입니다. 기술적 역량과 안전성 사이의 균형을 맞추는 것은 쉽지 않은 문제입니다.
셋째, 주요 AI 기업들의 인재 이동이 기술 개발 방향에 미치는 영향이 크다는 점입니다. Bubeck의 이직이 OpenAI의 오픈소스 전략에 영향을 미쳤을 가능성이 높습니다.
앞으로 6개월 정도 지나면 gpt-oss 모델들의 실제 활용도가 명확해질 것입니다. 벤치마크 성능이 실제 유용성으로 이어질지, 아니면 Phi 시리즈처럼 제한적인 활용에 머물지 지켜볼 일입니다. 하지만 분명한 것은 OpenAI가 안전성을 우선시하는 방향으로 오픈소스 전략을 설정했다는 점입니다.
참고자료:
Comments