실패하면서 깨달은 그로스 실험
실험의 성공률이 얼마나될까요? Optimizely에서 13만 건의 실험을 분석해보면 평균 12%라고 합니다. 그래서 실험은 실패를 전제로 한다고 하지만, 설계 자체가 잘못된 실험들도 많습니다. 그로스 실험을 하면서 깨달은 부분을 정리해봤습니다.
——
✅실험의 목표가 없습니다.
아니 어떻게 실험의 목표가 없을수 있죠? 라고 하겠지만 실제 없는 경우가 있습니다. “A버튼을 B와 같이 변경하면 클릭률이 N% 증가할 것이다” 라는 가설에서 클릭률을 목표로 합니다. 하지만 실험은 클릭률 상승으로 인한 실제 구매의 증분을 평가해야합니다. 주요 지표를 메인으로 두고 클릭률을 보조 지표로 같이 평가해야 정확한 목표 설정이라고 볼수 있습니다. 클릭률만 오르고 주요 지표가 떨어졌다면? 생각만해도 끔찍하네요😵💫
✅작은 실험과 작은 임팩트
사실 알면서도 실험을 하는 경우가 많습니다. 작은 임팩트가 복리로 누적되면 큰 성과로 이뤄질수도 있기 때문인데, 사실상 체감할 수준은 아닙니다. 실험의 프로세스를 구축하는 단계의 회사에서는 의미가 있을 것 같지만, 큰 조직에서는 임팩트가 큰 실험에 집중하는 것이 좋다고 봅니다. 작은 실험은 작은 임팩트만 준다는 엘레나의 글이 기억이 나네요😁
✅고객을 더 불편하게 하는 실험
제품의 상태가 모두 다르지만 저의 경험에서는 마찰을 제거하는 실험들이 성공률이 높았습니다. 단, 고객의 혜택을 부여하는 영역에서는 단계를 늘려도 유저의 반응을 충분히 얻을수 있습니다. 유형 구분을 잘해서 기능 추가와 제거를 적절하게 고려해서 실험을 해야지 무조건적인 기능 추가는 오히려 고객을 불편하게 합니다.
✅가장 문제는 실험을 안하는 것
위 내용과 유사한 경험을 하셨다면 성공입니다. 실험을 해봤다는 의미니깐요. 가장 문제는 실험이 없이 유저의 반응을 예측하고, 성과를 운에 맡긴다는 겁니다. 성공률 12% 보다 낮은 확률에 기대한다는 것은 10번 중 9번의 실패를 경험하고 아무것도 남지 않는다는 것입니다. 실험으로 실패도 기록되어야 합니다.
——
그로스 실험 사례가 진짜 많이 없는 것 같습니다. 그로스를 하시는 많은 분들이 다양한 사례를 나눠주시면 좋겠습니다. 실패는 부끄러운게 아닙니다. 한 단계 더 나아가기 위한 발판이라고 생각합니다.🙌