AI로 이미지를 만들 때, 우리가 개입할 수 있는 유일한 창구는 프롬프트입니다. 결과물이 마음에 안 들어도 그림을 직접 손댈 수는 없죠. 눈썹 하나를 고치고 싶어도 다시 프롬프트로 돌아가 문장을 바꾸고, 전혀 다른 그림이 나오기를 기대하는 수밖에 없습니다.

이 한계에서 출발한 프로젝트가 있습니다. 디자이너 겸 크리에이티브 테크놀로지스트 수리아 나레디가 학습 인프라를 맡은 캐머런 프란츠와 함께, 언어 모델 Qwen을 강화학습으로 훈련해 이미지를 ‘코드로’ 만들게 한 실험이죠. 두 사람이 진행한 개인 프로젝트라 대규모 벤치마크가 붙은 연구는 아니지만, 던지는 질문이 묵직합니다.

출처: RL’ing Qwen to paint with code – Surya Narreddi

결과물이 그림이 아니라 코드다

핵심은 단순합니다. 모델이 내놓는 최종 산출물을 픽셀 덩어리가 아니라 코드로 바꾼 것. 코드가 곧 그림을 그리는 설계도인 셈입니다.

이 차이가 왜 중요할까요. 코드는 편집할 수 있기 때문입니다. 프롬프트를 통째로 다시 던져 운에 맡기는 대신, 결과물의 특정 부분만 코드에서 직접 고칠 수 있습니다. 사람이 개입할 수 있는 지점이 ‘입력 한 줄’에서 ‘결과물 내부’로 옮겨간 겁니다.

예를 들어볼까요. 그림 속 어떤 요소의 위치나 색을 바꾸고 싶을 때, 프롬프트를 새로 짜는 대신 코드에서 그 값을 직접 손보면 됩니다. 전체를 다시 뽑느라 멀쩡하던 나머지까지 딸려 바뀌는 일 없이, 원하는 부분만 조정하는 방식이죠.

정답이 없는 걸 어떻게 채점하나

프로젝트가 진짜로 파고든 질문은 그다음입니다. 창작이나 디자인 같은 일에서 강화학습을 어떻게 할 것인가.

강화학습은 보상이 검증 가능할 때 잘 작동합니다. 수학 문제는 맞거나 틀리고, 게임은 이기거나 집니다. 채점이 명확하죠.

그런데 미적 품질은 둘 다 아닙니다. “이 그림이 더 낫다”를 기계적으로 판정할 정답표가 없는 겁니다.

그래서 이 실험에서는 디자인 문제 자체가 보상 함수가 됩니다. 무엇을 잘한 것으로 볼지, 그 기준을 판정자(judge)에게 어떻게 쥐여줄지가 관건이 되는 것. 기준이 너무 빡빡하면 모델이 한 가지 답으로 수렴해버리고, 너무 느슨하면 엉뚱한 방향으로 표류합니다. 이 사이의 균형을 잡는 게 창작 영역 RL의 어려움이자 핵심입니다.

검증 가능한 보상 너머로

지금까지 강화학습이 성과를 낸 영역은 대개 정답이 또렷한 곳이었습니다. 코드, 수학, 게임처럼 옳고 그름을 자동으로 셀 수 있는 문제들이죠. 이 프로젝트는 그 경계 바깥, 미적 판단처럼 정답이 없는 영역으로 RL을 밀어 넣으려는 시도입니다.

결과물을 편집 가능한 코드로 남긴다는 아이디어와, 정답 없는 보상을 판정자 기준으로 설계한다는 접근. 두 조각이 맞물리는 지점이 이 실험의 진짜 재미입니다. 규모와 검증은 개인 프로젝트의 한계 안에 있지만, 창작에서 사람과 모델이 어떻게 손을 나눠 쥘지에 대한 하나의 스케치로 읽을 만합니다.