벤치마크 점수로만 보면 Opus 5는 이전 세대를 앞섭니다. 그런데 정작 이 모델과 함께 일해 본 사람들은 “예전이 더 편했다”고 말하죠.

한 개발자가 자신의 블로그에 ‘Opus 5는 왜 더 나쁘게 느껴질까’라는 글을 올렸습니다. 자신과 동료들의 경험을 정리한 글이죠. 요지는 이렇습니다. Opus 5가 Opus 4.7·4.8이나 Fable보다 능력은 분명 뛰어난데도, 정작 다루기는 더 불편하다는 것.

출처: Why does Opus 5 feel worse to work with? – mun-logadan

능력이 아니라 태도의 차이

글쓴이는 Opus 5의 능력이 뒷걸음쳤다고 말하지 않습니다. 오히려 벤치마크에서는 Fable에 견줄 만큼 더 강해졌다고 인정하죠. 문제는 다른 데 있습니다.

그가 꼽은 차이는 태도입니다. Opus 4.7이나 4.8, Fable은 의도가 불분명하면 일단 멈추고 되묻습니다. 확인 없이 지레짐작하지 않고, 사용자의 계획을 마음대로 재해석하거나 바꿔놓지도 않죠. 그래서 곁에서 일일이 지켜보며 챙길 필요가 없습니다.

Opus 5는 반대라는 겁니다. 모호한 지점에서 묻는 대신 스스로 판단을 내리고, 계획을 임의로 손보기도 합니다. 결국 사용자가 매 단계를 감시하듯 따라붙어야 하는, 이른바 ‘베이비시팅’이 필요해졌다는 이야기입니다.

벤치마크가 길들이는 습관

왜 이렇게 됐을까. 글쓴이는 스스로 “근거 없는 추측”이라고 못박으면서 한 가지 가설을 내놓습니다. 프런티어 AI 연구소들이 받는 두 압력이 겹친 결과라는 겁니다. 하나는 스스로를 개선해 나가는 AI를 만들려는 욕심, 다른 하나는 벤치마크에서 높은 점수를 받아야 한다는 압박이죠.

여기서 벤치마크의 성격이 중요합니다. 잘 만든 벤치마크 문제는 그 자체로 완결됩니다. 힌트도, 출제자의 속마음을 읽는 일도, 바깥 정보도 없이 풀려야 하죠.

이런 문제로 모델을 훈련하고 줄 세우면, 모호한 상황에서 일단 과감하게 ‘대체로 맞는’ 짐작을 내지르는 모델이 유리해집니다. 반대로 멈춰 서서 “이게 무슨 뜻이죠?”라고 되묻는 성향은 감점 요인이 되고요.

문제는 우리가 코딩 에이전트에게 바라는 게 정확히 그 반대라는 데 있습니다.

현실은 벤치마크가 아니다

실제 작업에는 정답이 하나로 정해져 있지 않습니다. 맥락과 의도, 사업적 파장, 예산 같은 걸 전부 적어서 에이전트에게 넘기는 것도 사실상 불가능하고요. 어디엔가는 반드시 빈틈과 선택의 갈림길이 남습니다.

그리고 결과에 실제 책임이 걸려 있을 때, 우리는 에이전트가 알아서 ‘최선의 추측’으로 밀고 나가길 바라지 않습니다. 애매하면 멈추고 물어봐 주는 편이 낫죠. 글쓴이가 이전 모델들을 더 편하게 느낀 이유가 여기 있습니다.

이건 어디까지나 한 개발자와 그 동료들의 체감, 그리고 본인도 추측이라 밝힌 해석입니다. 모두가 같은 불편을 느끼는지는 별개의 문제죠. 그래도 곱씹을 대목은 남습니다. 모델을 ‘얼마나 똑똑한가’로만 줄 세우다 보면, 모호할 때 멈춰 묻는 태도처럼 점수에는 안 잡히지만 매일 쓰는 사람에게는 결정적인 축을 놓칠 수 있다는 것.