모두가 같은 모델을 쓰니 프롬프트 실력 차이는 사라졌다고들 하죠. 그런데 수학자 테런스 타오가 ChatGPT와 나눈 대화 기록을 읽어보면, 같은 모델이 맞나 싶어집니다.

깃허브에서 스태프 엔지니어로 일하는 션 괴데케가 이 격차의 정체를 짚었습니다. 프롬프트를 잘 쓰는 별도의 기술 같은 건 없고, 그 자리를 채우는 건 프롬프트하려는 분야를 실제로 아는 정도라는 겁니다.

출처: LLMs reward expertise – Sean Goedecke

같은 ChatGPT인데 대화가 다르게 흘러간다

타오는 최근 발견된 야코비안 추측 반례를 놓고 ChatGPT와 대화를 나눴고, 그 기록을 공개했습니다. 괴데케는 이 대화를 읽고 자기가 쓰는 ChatGPT가 아니라고 적었죠. 토큰을 무한정 태워도 저기까지는 못 간다는 것.

대화에서 눈에 띄는 건 네 가지입니다.

1. 메시지가 짧습니다 — 모델 답변에 조목조목 대응하지 않고 요지에만 반응하죠.
2. 모델 출력도 간결해집니다 — 전문성이 드러나자 모델이 수학자와 대화하는 모드로 옮겨 갑니다. 아마추어에게 설명하는 모드가 아니라.
3. 틀린 것 같으면 밀어냅니다 — 정면으로 부정하는 대신 “생각보다 복잡해 보이는데” 같은 식으로 돌려 말합니다.
4. 방향은 본인이 정합니다 — 다음에 뭘 할지에 대한 모델의 제안은 거의 따르지 않죠.

팁을 그대로 흉내내도 안 되는 것

여기까지 보면 따라 할 수 있을 것 같습니다. 짧게 쓰고, 전문가처럼 굴고, 부드럽게 반박하면 될 것처럼 보이죠. 하지만 괴데케는 그렇게 안 된다고 잘라 말합니다.

타오 기법의 핵심은 수학을 실제로 이해하는 것 자체에 있습니다. 여러 문단짜리 답변에서 쓸 만한 아이디어 하나를 골라내는 일, 다른 접근법을 제안하는 일, “이 부분이 이상한데”라고 짚어내는 일. 전부 내용을 알아야 가능하죠.

괴데케 자신의 경험도 같은 쪽을 가리킵니다. 코드베이스에 대한 나름의 감각이 있으면 모델을 훨씬 세게 밀어붙일 수 있다는 겁니다. 좋은 해법이 어떤 모양일지 스스로 그려지니까 이런 말을 던질 수 있죠. 여기는 더 간단해질 것 같은데. 우리 이미 X 하고 있지 않나. 이걸 익숙한 용어로 다시 표현해볼 수 있나.

그는 이 얘기를 시스템 설계에 대한 자기 지론과도 연결합니다. 설계 문제를 지배하는 건 일반 원칙이 아니라 구체적인 사정이라는 것. 소프트웨어 시스템 전반에 대한 깊은 일반론보다, 지금 만지고 있는 코드베이스에 익숙한 쪽이 낫다는 얘기입니다.

몰라도 손해는 아니다

도메인 지식이 없으면 어떻게 될까요. 그래도 LLM에 매달려 뭐라도 건질 수 있습니다. 괴데케는 이게 나쁘지 않다고 분명히 못 박죠. 실력이 부족한 엔지니어가 AI 덕분에 덜 해로워진다는 건 그가 예전에 따로 쓴 글의 요지이기도 합니다.

다만 같은 모델에서 뽑아낼 수 있는 양이 달라질 뿐입니다. 그리고 현실적으로 대부분은 두 방식을 섞어 쓰게 되죠. 잘 아는 영역이 있고 전혀 모르는 영역이 있으니까.

병목은 모델 쪽이 아니다

모델이 더 강해지면 이 격차도 사라질까요. 괴데케의 답은 반대쪽입니다. 많은 작업에서 병목은 모델이 아니라 사람이라는 것. 어려운 부분은 모델이 답을 모른다는 데 있지 않고, 사람이 원하는 답의 모양을 모델에게 전달하지 못한다는 데 있다는 겁니다.

정보는 이미 모델 안에 들어 있죠. 그걸 꺼내려면 꽤 똑똑한 사람이 필요하다는 것이 그의 결론입니다.

덧붙이자면 이 글의 근거는 타오의 대화 한 건과 저자 개인의 경험입니다. 실험이나 통계가 아니라 관찰에 가깝죠. 그래도 짚는 지점은 분명합니다. AI를 잘 쓰려면 프롬프트 작성법부터 배워야 한다는 통념과는 다른 곳을 가리키고 있으니까.

참고자료: Terence Tao의 ChatGPT 대화 기록