디자이너가 더 이상 UI만 만들지 않는다면 어떨까요? Figma의 모델 디자이너 Barron Webster는 이미 그런 세상에서 일하고 있습니다. 그가 하는 일은 버튼의 위치를 정하는 게 아니라 AI 모델의 행동 자체를 설계하는 겁니다. 8년간 Google, Replit, Figma에서 AI 제품을 만들어온 그는 “디자이너가 UI를 설계하기 전에 AI의 해부학을 이해해야 한다”고 말합니다.

AI Design Field Guide가 Barron Webster를 인터뷰했습니다. 그는 2017년 Google Creative Lab에서 일반 사용자가 AI 모델을 훈련시킬 수 있는 최초의 도구 Teachable Machine을 설계했고, Replit에서는 AI 기능으로 회사를 유니콘으로 성장시키는 데 기여했습니다. 최근 Figma에 합류한 그의 직함은 ‘모델 디자이너’입니다. 이 새로운 역할은 LLM을 직접 다루고 싶은 사람들을 위한 하이브리드 직무로, AI 시대에 디자인이 어떻게 변하고 있는지를 보여줍니다. 그의 경험은 AI 제품을 만들 때 반드시 알아야 할 다섯 가지 디자인 패턴과도 연결됩니다.

출처: The Rise of the Model Designer – AI Design Field Guide

UI가 아니라 모델의 행동을 설계한다

“모델 디자이너로서 제 역할은 두 가지예요. 첫째는 Figma의 고유한 데이터 형식을 AI가 잘 다루도록 만드는 겁니다. 기존 파운데이션 모델로는 한계가 있거든요. 둘째는 디자인 조직이 AI 경험을 설계할 수 있는 새로운 도구와 사고방식을 만드는 겁니다.”

Barron이 설명하는 모델 디자이너의 일상은 전통적인 디자인과 많이 다릅니다. UI 목업을 만들기 전에 AI의 핵심 동작부터 프로토타이핑합니다. “완벽하게 작동하는 상황만 가정해서 UI를 설계하면 위험해요. 실제로는 그렇게 작동하지 않을 수 있거든요. 디자이너가 엔지니어가 되지 않고도 AI의 동작을 직접 테스트하고 프로토타입할 수 있는 도구를 만들고 싶습니다.”

그는 비유를 들어 설명했습니다. “AI는 크툴루(예측 불가능한 외계 생물) 같아요. UI는 그걸 감싸는 메카 슈트(로봇 갑옷)죠. 목표는 디자이너가 메카 슈트를 설계하기 전에 크툴루의 해부학을 이해하도록 하는 겁니다. 그래야 슈트를 입었을 때 폭발하지 않거든요.”

Eval 작성이 디자인 업무가 되는 시대

모델 디자이너의 핵심 업무 중 하나는 Eval(평가 테스트) 작성입니다. Barron은 Figma에서 디자이너들이 빠른 피드백 루프로 Eval 케이스를 조작하고 실행할 수 있는 도구를 만들고 싶다고 합니다.

“Figma 파일에서 작업하다가 AI 기능이 제대로 작동하지 않으면, 바로 그걸 테스트 케이스로 추가할 수 있어야 해요. 시스템 프롬프트를 조정하면 어떻게 될까? 다른 모델을 써보면? 지금은 피드백 루프가 너무 느려요. 좋은 디자인 도구는 모두 피드백 루프를 제거하거나 줄이는데, 아직 개선할 여지가 많죠.”

Replit에서 일할 때 Barron은 Eval을 주로 회귀 방지용으로 사용했습니다. “우리가 원하는 특성들이 있었고, 모델이나 프롬프트를 바꿨을 때 성능이 떨어지면 Eval이 신호를 보냈어요. 어디를 조정해야 기본 수준으로 돌아갈 수 있는지 알려주는 거죠. 프로그래밍의 테스트 커버리지와 비슷해요.”

Eval은 AI가 원하는 특성을 충족하는지 빠르게 테스트하는 방법입니다. Replit에서는 모델이 답을 모를 때 하나의 구체적인 질문만 하는지, 한 번에 여러 질문을 하지는 않는지, 답변이 간결한지 같은 특성들에 대한 Eval이 있었죠. 이런 Eval 세트가 없으면 AI가 잘 작동하는지 확인하기 위해 훨씬 많은 수작업을 해야 합니다.

Barron은 “Eval 디자이너”라는 새로운 직무가 생길 수도 있다고 예측합니다. 디자인 시스템 역할처럼, 팀이 AI 성능을 이해할 수 있도록 대시보드를 설계하는 사람이죠.

기술 문제가 아니라 사용자 문제에 집중하기

Replit에서 에이전트 기능을 만들 때 Barron은 중요한 결정을 내렸습니다. 엔지니어링 팀은 에이전트가 만든 웹사이트를 자동으로 테스트하는 복잡한 시스템을 구축하려 했습니다. 샌드박스를 돌리고, 스크린샷을 찍고, 멀티모달 모델이 어디를 클릭하고 타이핑할지 결정하도록 만드는 거였죠.

“저와 다른 엔지니어가 제안했어요. 그냥 사용자한테 웹사이트를 보여주고 직접 테스트하게 하면 어떨까요? 검증과 테스트를 사용자에게 맡기면 복잡한 기술 문제를 통째로 건너뛸 수 있었어요. 기술적으로는 덜 흥미롭지만, 사용자 문제에 집중하는 사람이 있으면 많은 걸 단순화하거나 건너뛸 수 있습니다.”

이런 접근은 전통적인 스타트업 지혜와도 다릅니다. “보통은 틈새 시장부터 시작해서 100명의 열성 사용자를 확보한 다음 확장하잖아요. 하지만 ChatGPT 같은 범용 챗봇은 정반대로 성공했어요. 모든 걸 할 수 있는 범용 인터페이스를 만들고 뭐가 일어나는지 지켜보는 거죠.”

Replit 에이전트도 비슷했습니다. “출시할 때 누구를 위한 건지 잘 몰랐어요. 나중에 발견했죠. 테크 기업의 운영팀 사람들이 주로 쓰더라고요. 판매 데이터를 불러오거나 대시보드를 만들어야 하는 사람들이요. 도구를 출시하고 누가 쓰는지 보고 나서야 알았습니다.”

AI 제품 디자인의 핵심은 균형 찾기

Barron의 실무 경험은 AI 제품 디자인의 일반적인 원칙과 연결됩니다. AI를 제품에 통합하는 방법은 크게 다섯 가지로 나뉩니다. 예측형 UX(다음 행동 제안), 생성 지원(콘텐츠 자동 생성), 적응형 개인화(지속 학습 맞춤화), 대화형 인터페이스(AI 에이전트와 대화), 백그라운드 자동화(결과만 알림)입니다.

하지만 AI를 많이 쓴다고 UX가 계속 좋아지지는 않습니다. AI 개입이 늘어나면 처음에는 생산성 증가로 UX가 개선되지만, 어느 정도 정점에 도달한 후 사용자 통제력과 정확도 문제로 급격히 나빠집니다. 트렌드만 쫓아 AI를 통합하거나, 최적이 아닌 패턴을 사용하거나, 핵심 UX를 무시하고 AI에만 집중하면 오히려 제품 품질이 떨어집니다.

디자이너는 AI 개입 수준을 신중하게 조정해서 최고의 UX가 존재하는 정점을 찾아야 합니다.

모델 디자이너가 되려면

Barron이 새로운 AI 제품 디자이너에게 주는 조언은 명확합니다. “가장 중요한 건 시간을 충분히 투자해서 모델에 무엇이 들어가고 무엇이 나오는지 진정으로 이해하는 겁니다. 프롬프트가 뭔지, 어떤 사용자 정보가 입력되는지, 어떤 도구를 호출할 수 있는지, 어떤 Eval이 있는지 파악하세요. 이런 다이얼을 조정했을 때 어떤 일이 벌어지는지 직관적으로 이해해야 합니다.”

단순히 결과물을 위한 UI만 만드는 디자이너가 되면 안 됩니다. “엔지니어와 PM이 와서 ‘모델이 이런 결과를 주니까 인터페이스를 만들어주세요’라고 하면, 할 수는 있어요. 하지만 사용자 인사이트를 바탕으로 의미 있는 개선을 제안할 수 없을 겁니다. 새로운 모델 변화에도 매우 수동적으로 대응하게 되죠. 새로운 기능이 정말 원하는 건지 아닌지 결정하는 과정에 참여해야 합니다.”

이런 세부사항에 들어가는 건 쉽지 않습니다. 특히 코드를 잘 모르는 디자이너에게는 더욱 그렇죠. 회사에 Langsmith 같은 인터페이스가 있을 수도 있고, 직접 개발 환경을 실행하는 법을 배워야 할 수도 있습니다. 어려운 작업이지만 필수적입니다.

AI 제품 디자인은 행동을 설계하는 일이고, 완벽할 수 없다는 걸 받아들여야 합니다. 픽셀 단위로 완벽하게 통제할 수 있는 UI 디자인과는 다른 마인드셋이 필요합니다. Barron은 여전히 목업을 만들고 디자인 도구를 사용하지만, 그 일은 이제 다르게 느껴진다고 합니다. “끝나지 않는 작업이에요. 기능이 제거되지 않는 한 계속 개선할 수 있으니까요.”

참고자료:

• How to design AI features that actually improve user experience – LogRocket Blog
• LLM evaluation: a beginner’s guide – Evidently AI