실험의 시대

체계적인 성장 실험이 필요하다면

서현직

2024-05-22

바야흐로 실험의 시대입니다.

애자일과 린 어프로치는 프로덕트나 마케팅뿐만 아니라 다양한 영역에서 광범위하게 활용되는 실행 전략이 되었습니다. 여기에 데이터에 대한 높아진 접근성이 기름을 부었어요. 다양한 툴과 어플리케이션으로 고객 행동을 실시간으로 확인할 수 있게 되면서 실험은 한치앞을 내다보기 힘든 비즈니스 현장에서 많은 사람들이 가설로 해결의 단서를 찾는 방법을 제시해 주고 있습니다.

하지만 실험이 늘어난 만큼 허탕을 치는 경우도 많아지고 있습니다. 다양한 변수가 구조적으로 복잡하게 얽혀 체계적인 실험이 힘든 경우도 있지만, ‘허탕 실험’은 합리적인 가설로 시작했지만 체계적으로 설계되지 못해 발생하는 경우도 많았습니다.

구조적으로 실험을 잘 설계되어 확실한 교훈을 얻을 수 있는 방법은 많겠지만, 저는 특히 두 가지를 신경쓰는 편이에요. 가설의 변수화와 전체 관점의 최적화입니다.

1. 가설의 변수화

많은 사람들이 가설을 검증하기 위해 무엇을 비교해야 하는지 어려워합니다. 이때 가설을 단순화 하는 것이 도움이 됩니다. 저는 좋은 실험은 가설을 단순화 하는 것에서 시작한다고 믿습니다. 복잡한 상황과 뒤엉킨 변수들 속에서 내가 검증하고자 하는 가설을 단순화 하는 것이죠. 다양한 방법이 있겠지만 저는 빈 종이를 꺼내 ‘A가 되면 C가 된다’고 단순하게 가설을 적어 보는 것을 좋아합니다.

내가 가진 가설을 단순화 했다면 이를 변수로 구조화 해야 합니다. 실험은 결국 서로 다른 변수가 결과에 미치는 영향을 파악하기 위한 것이니까요. ‘A가 되면 C가 된다’는 가설에서 (A)는 원인, (C)는 결과라고 볼 수 있는데요. 여기서 (A)는 독립변수, (C)는 종속변수가 됩니다. 그런데 (A)라는 원인 외에도 결과(C)에 영향을 주는, 이미 밝혀진 다양한 변수들이 있을 수 있어요. 이를 (B)라고 해 볼게요. 그럼 여기서 (B)는 통제변수가 됩니다. 여기까지 정리하면 가설을 구조화 할 수 있어요. 우리는 (A+B)와 (B)를 비교해 (A)가 (C)에 미치는 영향을 파악할 수 있습니다. 실험 그룹과 대조 그룹을 아래와 같이 정리할 수 있습니다.

실험 그룹 : A + B = C + 알파

대조 그룹 : B = C

학창시절 배웠던 계산의 원리를 적용해 실험 그룹에서 대조 그룹을 빼면 ‘A = 알파’가 된다는 것을 알 수 있습니다. 결국 핵심은 단순화예요. 머리속에 있는 가설을 ‘A가 되면 C가 될 것이다. 그런데 C에는 B의 영향도 있을 것이다’라고 단순화 할 수 있다면 쉽게 가설을 변수화 할 수 있습니다.

2. 전체 관점의 최적화

가설을 변수화 했다면 실험 결과 해석은 비교적 쉬워집니다. 독립, 통제, 종속변수로 설정 했던 (A), (B), (C)를 각 그룹에서 측정하여 비교해 보면 쉽게 실험 결과를 통해 (A)가 (C)에 주는 영향인 ‘알파’의 크기를 얻을 수 있으니까요. 하지만 여기서 전체 관점의 최적화를 활용하면 단편적인 해석에서 나아가 심도있게 실험 결과를 바라볼 수 있게 됩니다.

전체 관점의 최적화는 실험으로 얻은 결과가 변수로 설정 했던 특정 ‘부분’에서 뿐만 아니라 더 넓은 범주인 ‘전체’에서도 여전히 유효한 결과인지를 살펴보는 것을 말합니다.

예를 들어 팝업으로 메시지를 띄웠더니(=A) 구매 전환율이 개선되었다(=C)는 실험 결과를 생각해 볼게요. 하지만 이렇게 구매한 고객들의 취소율은 높고 재구매율은 현저히 떨어진다면 장기적인 관점에서는 (A)는 유효하지 않을 수 있습니다. 평균의 함정도 대표적인 사례입니다. 실험 결과를 평균으로 해석 했을 때는 좋아 보였는데, 결과를 고객 그룹 별로 나누어 보았더니 반응이 좋았던 저가치 유저와 달리 우리에게 중요한 고가치 고객의 결과는 좋지 않을 수도 있습니다. 이 또한 ‘전체’ 관점에서 좋은 결과라고 말하기 힘들겠네요. 단순한 사례지만 현실의 크고 복잡한 실험일수록 독립 변수가 전체 관점에서도 여전히 유효한지 점검하는 것이 필요합니다.

실험을 할 때는 그에 영향을 받는 선행, 후행 지표들을 함께 관찰하는 것이 중요합니다. 그래서 실험을 할 때 실험의 결과를 검증하기 위한 결과 지표와 함께 전체 관점의 최적화를 판단할 수 있는 관찰 지표들을 함께 설정하고 결과를 해석하는 것이 좋습니다. 이를 위해 평소에 내가 관리하는 주요 지표들의 Goal Tree를 미리 만들어 놓으면 도움이 됩니다. 실험을 설계할 때 실험 변수에 연결 된 선행/후행 지표를 파악하기도 쉽고, 평소 Goal Tree에 연결된 지표들의 추이를 모니터링하면 실험 설계에 도움이 되는 통제 변수를 수집할 수도 있습니다.

이 외에도 체계적인 실험을 위해 필요한 것들이 많습니다. 위 내용은 제가 얼마전에 인프런에 출시한 <그로스마케팅 101>의 일부 내용인데요. 자세한 내용이 궁금하신 분들은 아래 링크를 참고 부탁 드립니다. 2만원 할인 쿠폰도 있습니다. 결제 시 아래 쿠폰 번호를 사용하면 2만원 할인이 된다고 해요 🙂

쿠폰 번호 : 16060-7e048a717597

https://inf.run/DF6MT