새 AI 모델이 나올 때마다 반복되는 테스트가 있습니다. “펠리컨이 자전거 타는 SVG를 그려라”라는 프롬프트죠. 개발자 Simon Willison이 몇 년째 신모델마다 이 프롬프트를 던져왔고, 그 결과물은 Hacker News에서 신모델 소식보다 더 많은 추천을 받을 정도로 유명해졌습니다.

벤치마크가 유명해지자 자연스레 의혹도 따라왔습니다. 수십억 달러가 걸린 경쟁에서, AI 회사들이 이 특정 프롬프트에 잘 나오도록 몰래 학습시킨 게 아니냐는 것이었죠. 개발자 Dylan Castillo는 이 의혹을 눈대중이 아니라 숫자로 확인해보기로 했습니다.

출처: Are AI labs pelicanmaxxing? – Dylan Castillo

펠리컨 하나가 아니라 48가지 조합으로 늘려서 비교했다

Castillo의 방법은 간단합니다. 펠리컨 하나만 보면 그게 잘 그려진 건지 원래 그런 건지 판단할 수 없죠. 그래서 동물 8종과 탈것 6종을 조합해 48개 프롬프트를 만들었습니다.

동물은 펠리컨, 플라밍고, 왜가리, 수달, 너구리, 영양, 고래, 고양이였고, 탈것은 자전거, 외발자전거, 스케이트보드, 킥보드, 비행기, 배였죠. 이 조합을 GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro 7개 모델에 각각 3번씩 그리게 해 총 1,008장의 SVG를 모았습니다.

그림마다 다른 AI 모델(GPT-5.6 Luna)이 동물 표현력, 탈것 표현력, 동작의 자연스러움을 5점 만점으로 채점했죠. “AI 랩이 벤치마크를 학습했다면, 펠리컨 행이나 자전거 열, 혹은 펠리컨-자전거 칸 자체가 유독 높은 점수를 받아야 한다”는 게 Castillo의 가설이었습니다.

펠리컨도 자전거도 평범한 순위였다

결과는 가설과 정반대였습니다. 펠리컨은 8개 동물 중 6위에 그쳤죠. 고양이, 고래, 너구리, 왜가리, 영양보다 낮은 점수였습니다. 학습을 했다면 펠리컨이 상위권에 있어야 하는데, 오히려 하위권이었던 겁니다.

자전거는 더 낮았습니다. 6개 탈것 중 5위로, 꼴찌인 비행기와 거의 비슷한 수준이었죠.

물론 자전거가 스케이트보드보다 원래 그리기 어려운 대상일 수는 있습니다. 바퀴 두 개가 맞아야 하고, 프레임이 두 축을 연결해야 하고, 핸들과 안장과 페달까지 갖춰야 하니까요. 그래서 Castillo는 난이도 차이를 통제한 회귀분석을 따로 돌렸습니다.

난이도를 걷어내도 조작의 흔적은 없었다

회귀분석은 각 모델이 펠리컨에서, 자전거에서, 그리고 펠리컨-자전거 조합 자체에서 평균보다 얼마나 더 잘했는지를 따로 계산했습니다. 결과는 명확했죠.

일곱 개 모델의 펠리컨 관련 보너스는 전부 -0.11점에서 +0.14점 사이에 머물렀고, 통계적으로 유의미한 차이는 하나도 없었습니다.

자전거 쪽에서는 딱 하나, Gemini 3.5 Flash가 통계적으로 유의미한 결과를 보였죠. 다만 이건 21번의 검정을 동시에 진행하면 우연히 하나쯤 나올 수 있는 수준이었고, 다중비교를 보정한 기준을 적용하면 이마저도 사라졌습니다.

펠리컨-자전거 조합 자체에서는 GLM-5.2가 가장 큰 보너스를 보였지만, 이 역시 유의미한 수준에는 못 미쳤습니다.

저자 스스로 인정한 빈틈

Castillo는 이 실험이 완벽하지 않다는 점도 솔직하게 짚었습니다. 만약 어떤 랩이 펠리컨-자전거만이 아니라 SVG 생성 자체를 전반적으로 잘하도록 학습시켰다면, 모든 조합의 점수가 동시에 올라가기 때문에 이 실험으로는 구분할 수 없다는 것이죠.

실제로 Google/DeepMind는 SVG 생성을 전반적으로 개선하고 있다고 공개적으로 밝힌 적도 있습니다.

흥미로운 관찰도 하나 있었습니다. 펠리컨-자전거 이미지 21장이 전부 오른쪽을 바라보고 있었던 겁니다.

하지만 이것도 조작의 증거는 아니었죠. 전체 1,008장 중 60%가 오른쪽을 바라보는 구도였고, 다른 세 개 조합도 90% 이상의 비율로 한 방향을 향했습니다. 48개 조합 중 하나가 21분의 21로 몰리는 건 통계적으로 딱히 이상한 일이 아니었던 셈입니다.

결국 Castillo의 결론은 “몰래 학습시킨 뚜렷한 증거는 없다”였습니다. 펠리컨은 다른 동물보다 잘 그려지지 않았고, 자전거도 다른 탈것보다 잘 그려지지 않았죠.

특정 벤치마크 하나를 노린 조작보다는, SVG 생성 능력 자체를 넓게 개선하는 쪽이 더 그럴듯한 설명이라고 그는 덧붙였습니다.