많은 마케터들이 AB 테스트 후 현상을 보고 A가 B보다 높았다는 단순한 결론을 내리지만, AB 테스트에서 중요한 것은 현상이 아니라 ‘A가 B보다 높은 이유’를 알아내고 검증하는 것에 있습니다. 단발적인 실험으로는 이것을 알아내기 힘든 경우가 많아요. 이를 위해 필요한 것은 아래 두 가지가 아닐까 합니다.
1. 연속적인 실험
이유를 찾고 확신을 가지기 위해서는 연속적인 실험이 필요합니다. 우리에게 필요한 것은 단순히 현상을 파악하는 것이 아니라, 결과에 유효한 영향을 주며 반복 가능한 변수를 찾는 것이기 때문입니다.
한 번의 실험으로 얻은 현상을 보고, 짐작했던 영향과 생각하지 못했던 원인을 을 분해해 첫 가설에서 한 발자국 더 나아간 가설을 세워 추가적인 실험을 진행하면 도움이 됩니다. 아무리 통제하더라도 실험실이 아닌 회사에서 진행하는 실험에는 예상치 못한 변수가 영향을 주었을 수 있습니다. 이를 위해 유사한 실험을 반복적하는 것으로 가설 검증에 확률적인 확신을 더할 수 있습니다.
2. 정성적인 이유 파악
반복적인 실험에서 유사한 결과를 얻어 확률적인 확신은 얻었지만 정확한 이유를 모르겠다면 정성적으로 이유를 파악해 보는 것이 도움이 됩니다.
이를 위해 가장 쉬운 방법은 실험에서 원하는 행동을 보인 고객들을 직접 찾아 물어보는 것입니다. 간단한 전화 인터뷰나 유저 리서치로도 확률적으로 확인한 결과 뒤에 고객의 어떤 의도와 생각이 숨어 있었는지 알 수 있습니다. 무엇보다 이렇게 파악한 정성적인 이유는 실험 결과로 만든 제안을 누군가에게 설득할 때 유용합니다. 고객 관점의 내러티브가 통계적인 결과에 직관적인 설명을 더해 주니까요.
—
문제 해결에 새로운 관점이 필요하신 분들은 아래 강의를 참고해 주세요 🙂
https://inf.run/DF6MT더 깊은 이야기는 인스타그램 @zseo_hj, 링크드인 @서현직으로 DM 주세요 🙂https://www.linkedin.com/in/%ED%98%84%EC%A7%81-%EC%84%9C-50206273/ https://www.linkedin.com/in/%ED%98%84%EC%A7%81-%EC%84%9C-50206273/
서현직님의 더 많은 콘텐츠는🔽
https://www.linkedin.com/in/%ED%98%84%EC%A7%81-%EC%84%9C-50206273/
