많은 기업들이 AI 제품 개발에 뛰어들고 있지만, 대부분은 MVP(Minimum Viable Product) 단계에서 한 걸음도 더 나아가지 못하고 있습니다. 겉으로는 완성된 것처럼 보이는 AI 제품이 실제 운영 환경에서는 예상치 못한 문제점들을 드러내며 실패하는 경우가 빈번합니다. 왜 그럴까요? 그리고 이런 함정을 어떻게 피할 수 있을까요?
AI MVP의 기만적인 완성도
AI 모델 버전 간의 성능 차이 – Lawrence Jones의 블로그에서 발췌
AI 제품 개발의 가장 큰 함정은 초기 프로토타입이 완성된 제품처럼 보인다는 점입니다. Lawrence Jones는 자신의 블로그에서 실제 경험을 공유합니다. 그의 팀은 incident.io에서 인시던트 트리아지를 자동화하는 시스템을 개발하려 했고, 단 이틀 만에 놀라운 프로토타입을 만들었습니다. 대시보드를 분석하고, 병합된 PR을 검토하고, 다양한 데이터 소스를 조사해 문제의 원인을 파악하는 시스템이었죠.
문제는 이 프로토타입이 완성된 제품처럼 보였다는 것입니다. 하지만 실제로는 시작에 불과했습니다.
이것이 바로 AI 제품의 함정입니다. 며칠 만에 거의 완성된 것처럼 보이는 제품을 만들 수 있습니다. 데모는 인상적이고 팀원들은 흥분합니다. 그러나 실제 환경에서 테스트하면 모든 것이 무너집니다. 데모에서 아주 세련되게 보였던 시스템이 사후에는 너무나 명백해 보이는 기본적인 실수를 범하기 시작합니다.
AI 제품 개발의 진정한 단계
SXSW 2025 컨퍼런스에서 여러 전문가들이 강조했듯이, 화려한 데모만으로는 충분하지 않습니다. AI로 장기적인 가치를 창출하려면 개념 증명을 넘어 정확하고 신뢰할 수 있으며 실제 세계와 통합된 시스템을 구축해야 합니다.
Lawrence Jones는 AI 제품 개발의 네 가지 단계를 설명합니다:
1. 기만적인 MVP 단계
이 단계에서는 거의 완성된 것처럼 보이는 제품을 몇 일 만에 구축합니다. 데모는 인상적이지만, 실제 환경에서는 모든 것이 무너집니다.
2. 비결정적 시행착오 단계
이 단계에서는 MVP를 개선하기 위해 반복 작업을 시작합니다. 하지만 복잡성이 더해질수록 시스템은 점점 더 예측할 수 없게 됩니다. 주관적인 판단에 따라 변경을 가하면서 일부 에지 케이스는 개선되지만, 눈에 보이지 않게 다른 케이스들이 망가집니다.
현재 AI를 구축하는 기업의 90%가 이 단계에 있습니다. Google GCP에 추가된 AI 기능이나 Apple의 메시지 요약 기능과 같은 대기업들의 AI 기능조차도 BigQuery에서 형편없는 SQL 제안을 내놓거나 메시지 간에 부정확한 헤드라인을 제공하는 등 LLM을 제품에 처음 사용해본 엔지니어의 시도처럼 느껴집니다.
AI 제품 개발 라이프사이클 – 출처: Medium.com, API4AI
3. 과학적 접근 단계
이 단계에서는 시스템이 복잡해져 관리와 이해를 돕는 도구가 필요하다는 것을 깨닫습니다. Jones는 이 시점을 ‘과학적 접근’이 필요한 시점이라고 부릅니다. ML 관행에서 영감을 얻어 이를 자신의 상황에 적용하는 방법을 찾아야 합니다.
최소한 다음이 필요합니다:
- 평가 테스트 모음
- 제품 내 AI 상호작용의 자동 평가
- 다단계 LLM 상호작용을 파악하는 관찰성 도구
Jones의 팀은 이런 도구를 진화시켜 왔습니다. 예를 들어, incident.io 엔지니어는 프로덕션 환경에서 실패한 LLM 상호작용을 IDE에서 평가 테스트 케이스로 실행하는 데 30초도 걸리지 않습니다.
4. 실제 작업 단계
마지막으로, AI 성능을 안정적으로 평가하고 자신감을 가지고 시스템을 개선할 수 있는 지점에 도달합니다. 지속적인 모니터링, 포괄적인 평가 모음, 프롬프트 분석 도구 등이 마련되어 있습니다.
그리고 그때 불편한 진실과 마주하게 됩니다: 이전의 모든 것은 기본적으로 가짜였다는 것을요. 이 단계에 도달하기 위해 얼마나 많은 작업이 필요했는지 생각해보면, 다른 회사들이 이런 종류의 도구를 구축하는 것에 대해 많이 이야기하지 않았다는 것이 걱정됩니다.
AI 프로토타입을 넘어서기 위한 전략
SXSW 2025 컨퍼런스에서 You.com의 창립자 Richard Socher, General Purpose의 Tom Hewiston, 카네기 멜론 대학의 연구원 Maarten Sap과 Sherry Tongshuang Wu가 제시한 통찰력을 바탕으로, AI 프로토타입을 넘어서기 위한 몇 가지 핵심 전략을 알아보겠습니다.
AI를 마법사가 아닌 관리자처럼 생각하기
Tom Hewiston은 AI 어시스턴트를 “Slack을 통해서만 대화할 수 있는 밝고 열정적인 인턴”처럼 생각하라고 조언합니다. 빠르고, 유능하며, 작업에 무한한 에너지를 가지고 있습니다. 하지만 유용하게 쓰려면 구조, 명확성, 감독이 필요합니다.
효과적인 AI 활용은 기술적 능력이 아니라 좋은 관리자가 되는 것에 관한 것입니다.
예를 들어:
- 마케팅 카피 작성에 도움이 필요하신가요? 모델에 지난 50개의 헤드라인을 제공하고 어떤 것이 효과가 있었는지 알려주세요.
- 코딩에 도움이 필요하신가요? 주니어 개발자에게 과제를 할당하는 것처럼 명세서, 테스트 케이스, 피드백을 제공하세요.
- 경쟁 환경 분석이 필요하신가요? 요청하되, 데이터를 검증하세요. AI는 자신감 있게 환각을 일으킬 수 있습니다.
AI를 더 잘 활용하는 사람들은 단순히 프롬프트를 더 잘 작성하는 것이 아닙니다. 그들은 원하는 것을 더 잘 정의하고, 반복하며, 출력을 관리합니다.
AI의 “마지막 1마일” 문제가 실제 기회입니다
AI의 “마지막 1마일” 문제: First-Mile vs. Last-Mile AI 시스템 – 출처: Hazy Research, Stanford
많은 SXSW 연사들이 같은 비유를 사용했습니다: 오늘날의 AI는 80%의 길을 가는 데 뛰어납니다. 하지만 나머지 20% – 맥락적 관련성, 개인 선호도, 비즈니스 로직 – 는 카테고리의 왕이 결정되는 영역입니다.
Richard는 이것을 “마지막 1마일” 문제라고 설명하며, 이는 사려 깊은 팀이 해결해야 할 간극입니다. 예를 들어:
- AI 에이전트로 여행을 예약하는 것은 간단해 보이지만, 실제로는 예산, 비행 시간, 걷기 허용치, 호텔 스타일, 활동 등 수십 가지의 선호도가 필요합니다.
- AI 어시스턴트로 이메일을 작성하는 것은 쉽지만, 브랜드 음성, 고객 세그먼트, 현재 캠페인에 맞게 조정하는 데는 노력이 필요합니다.
- 내부 문서를 요약하기 위해 LLM을 사용하는 것은 데이터 구조가 올바르고 모델이 정확하게 인용할 수 있을 때만 잘 작동합니다.
스마트 인터페이스, 더 나은 데이터 설계 또는 하이브리드 워크플로우를 통해 이러한 마지막 1마일 문제를 해결할 수 있는 제품이 시장 승자가 될 것입니다.
유스케이스가 새로운 AI 차별화 요소입니다
카네기 멜론 연구원들의 한 가지 놀라운 통찰력은 LLM이 보이는 것만큼 똑똑하지 않다는 것입니다. 문자 그대로이며, 의도를 추론하는 데 뛰어나지 않고, 종종 과도하게 자신감을 가집니다. 그들은 자신이 틀렸을 때 알지 못하며, 거의 알려주지 않을 것입니다.
이러한 맥락에서 AI는 마법 솔루션이 아닙니다. 가치를 얻는 고성능 제너럴리스트 도구입니다.
이는 고객을 잘 아는 창립자와 팀에게는 좋은 소식입니다. 당신의 장점은 사용하는 모델이 아닙니다. 해결하는 문제입니다.
즉, 진정한 차별화 요소는 다음에서 옵니다:
- 데이터의 품질과 구조
- 충족시키는 사용자 요구의 명확성
- AI 주변에 설계한 워크플로우
- 시간이 지남에 따라 성능을 측정하고 개선하는 방법
중요한 질문은 “이 모델이 무엇을 할 수 있는가?”가 아니라 “내 제품을 위해 무엇을 해야 하며, 어떻게 그것을 잘 하도록 도울 수 있는가?”입니다.
화려함에서 기본으로
SXSW 2025 세션에서 분명히 알 수 있듯이, 우리는 SXSW 2024에서 중심이 된 “와우” 순간을 넘어섰습니다. 실제 기회는 이제 사려 깊고, 잘 정의되고, 유용한 AI 통합에 있습니다. 지루한가요? 아마도 누군가에게는 그럴 수 있습니다. 실제로 많은 사람들이 올해 기술 세션이 “지루하고” “혁명적이지 않다”는 의견을 보였습니다.
하지만 이러한 “지루한” 혁신이야말로 진정한 발전입니다. 드디어 AI 과대광고가 현실에 근거를 두고 실생활에서의 점진적인 응용에 초점을 맞추게 된 것입니다.
첫 아이디어를 검증하는 창립자이든, 제품 기능을 확장하는 팀이든, 게임은 변했습니다. AI를 주니어 팀을 관리하는 것처럼 사용하세요. 단순히 자동화하는 것이 아니라 강화하는 워크플로우를 구축하세요. 실제 요구, 실제 사용자, 실제 결과에 집중하세요. 이것이 프로토타입을 강력한 무언가로 바꾸는 방법입니다.
마치며
AI MVP를 넘어서기 위한 여정은 쉽지 않습니다. 그러나 실제 운영 환경에서 성공적인 AI 제품을 구축하기 위해서는 필수적인 과정입니다. 화려한 데모와 초기 프로토타입에 만족하지 말고, 지속적인 테스트, 평가, 개선을 통해 진정으로 가치 있는 AI 제품을 만들어 나가는 여정을 시작해보세요.
Lawrence Jones의 말을 인용하자면: “AI 시스템을 구축하는 것은 어렵습니다. 정말 어렵습니다. 그리고 ‘당신에게 필요한 것은 X뿐입니다’라고 말하는 사람은 현실의 단순화된 버전을 판매하고 있는 것입니다. 도구는 미성숙하고, 따라야 할 예제가 많지 않으며, 일을 제대로 처리하는 데 어려움을 겪고 있다면 – 그것은 완전히 정상입니다. 당신은 혼자가 아닙니다.”
참고자료:
Comments