Crazy Egg의 기존 랜딩 페이지는 문제가 없었습니다. 팀도 결과에 만족했고, 고칠 이유도 없었죠. 그래서 오히려 실험하기에 딱 좋은 조건이었습니다. 잘 돌아가는 페이지를 기준선으로 삼고, AI로 만든 버전을 맞붙여 봤을 때 어떤 결과가 나올까요?

Crazy Egg는 Claude와 AI 빌더 Base44를 이용해 자사 웹 애널리틱스 랜딩 페이지를 새로 만든 뒤, 약 5만 4천 명을 대상으로 A/B 테스트를 진행했습니다. 결과는 AI 버전이 44.83% 높은 전환율, 통계적 신뢰도 99%였습니다. 기존 인간 디자인 페이지의 전환율이 55.68%였는데, AI 버전은 80.65%를 기록했습니다. CRO(전환율 최적화) 업계에서 5~10% 향상도 좋은 결과로 평가받는다는 점을 고려하면, 이례적인 수치입니다.

출처: I Let AI Redesign a Landing Page. It Beat Our Human-Designed Version by 44%. – Crazy Egg

사용한 도구는 두 가지, 단계는 네 단계

전체 워크플로우에서 사용한 AI 도구는 Claude와 Base44 두 가지뿐입니다.

1단계 — Claude로 페이지 콘텐츠와 빌더 프롬프트 생성: 기존 랜딩 페이지 URL과 브랜드 정보를 Claude에게 전달하고, 새 페이지의 섹션별 구조와 카피를 만들어 달라고 요청했습니다. Claude는 몇 가지 질문을 던진 뒤 1,000단어 분량의 페이지 콘텐츠를 작성하고, 이를 바탕으로 Base44에 입력할 2,300단어짜리 상세 프롬프트를 생성했습니다. 담당자는 내용을 검토하거나 수정하지 않고 다음 단계로 바로 넘겼습니다.

2단계 — Base44로 페이지 디자인 생성: Claude가 만든 프롬프트를 Base44에 그대로 붙여 넣으면 풀페이지 디자인이 출력됩니다. Crazy Egg 팀은 커스텀 폰트 적용, 반응형 조정 정도의 최소한의 수정만 했고, 디자인의 99%는 Base44 결과물을 그대로 유지했습니다.

3단계 — Claude의 자기 피드백으로 2차 개선: Base44 결과물 전체 스크린샷을 Claude에게 보여주며 개선점을 요청했습니다. Claude는 여러 항목을 직접 지적하고 수정 사항을 정리했습니다. 그 피드백을 토대로 두 번째 프롬프트를 다시 생성해 Base44에 입력하고, 이렇게 나온 버전이 A/B 테스트에 쓰인 최종 페이지가 됐습니다.

4단계 — 브랜드 정확도 검토: Crazy Egg 팀이 고객사 로고, 제품 데이터 등 사실 관계를 확인하고 소폭 수정했습니다. 페이지 구조, 카피, 레이아웃은 건드리지 않았습니다.

처음 프롬프트를 입력한 시점부터 최종 페이지가 완성되기까지, 전통적인 랜딩 페이지 리디자인 프로젝트와 비교하면 훨씬 짧은 시간이 걸렸습니다.

인간 버전이 진 지점

두 페이지를 나란히 놓고 보면 차이가 꽤 명확합니다.

인간이 만든 페이지는 제품 중심입니다. “핵심 메트릭 8가지”, “세그멘테이션 15가지”처럼 제품이 무엇을 제공하는지 나열하는 구조입니다. AI 버전은 시작부터 다릅니다. 첫 헤드라인 “Website analytics that actually make sense”는 방문자가 이미 느끼고 있을 불편함을 직접 건드립니다. 제품 설명이 아니라 방문자의 상황에서 출발하는 거죠.

구조적으로 AI 페이지는 PAS 프레임워크(Problem–Agitation–Solution, 문제–자극–해결)를 충실하게 따랐습니다. “복잡한 애널리틱스 툴에 지치셨나요?”로 문제를 제기하고, 긴 설정 시간·데이터 과부하·기술적 복잡성 세 가지 불편함을 구체적으로 짚은 다음, “데이터 사이언티스트가 아닌 진짜 마케터를 위한 애널리틱스”로 솔루션을 제시합니다. 인간이 만든 페이지에는 이 흐름이 없습니다. 이미 제품의 가치를 잘 아는 팀이 만든 페이지는 방문자도 그 가치를 안다고 암묵적으로 가정합니다.

CTA 설계도 달랐습니다. AI 버전은 페이지 전체에서 동일한 초록색 “Get Started Free” 버튼을 일관되게 반복했습니다. 같은 초록색으로 강조된 핵심 문구들이 자연스럽게 버튼으로 시선을 모으는 구조입니다. 인간 버전은 섹션마다 버튼 색상이 달라지고, 강조 요소들이 제품 기능 설명에 집중되어 있었습니다.

한 번의 실험, 그 이후

Crazy Egg는 이 결과를 보고 AI 버전을 기본 랜딩 페이지로 교체했습니다. 그리고 동일한 워크플로우를 다른 제품 페이지에도 적용해 실험을 이어갈 계획이라고 밝혔습니다. 한 번의 테스트로 결론을 내리기엔 이르지만, 이 워크플로우가 반복 가능한 패턴인지 확인하는 다음 실험이 더 유의미한 데이터를 줄 것으로 보입니다. 상세한 페이지 비교 이미지와 A/B 테스트 수치는 원문에서 확인할 수 있습니다.