최근 AI로 제품 생산 비용이 낮아졌으니, 실험하지 말고 일단 배포한다는 말을 자주 듣습니다. 실제로 PO가 아니어도 아이디어만 있으면 누구나 제품에 손대는 문화가 빠르게 자리 잡고 있어서 이해는 하지만, 배포가 실험보다 늘 효율적이다는 말에는 100% 동의하기 어렵습니다. 제 생각을 정리해봤습니다.
——
✅배포를 먼저 해도 되는 때
트래픽이 적어 표본이 안 모이면 실험 자체가 성립하지 않습니다. 유의성 확보까지 시간이 너무 오래 걸려서, 그동안 못 배운 비용이 실험의 정밀도보다 큽니다. 특히 스타트업은 실험 도구도 없고 그 시간마저 위협이 되니, 될 것 같은 감이 있다면 믿고 배포하는 것고 전략입니다.
또한 “리스크 낮은 변경은 그냥 배포하면 된다”고도 하는데, 작은 변경도 대부분 보이지 않게 지표에 영향을 주고 측정조차 하지 못해 실패라고 인지하기도 어렵습니다.
✅실험이 꼭 필요한 때
트래픽이 큰 제품은 작은 개선들이 모여 규모의 복리를 만듭니다. 변화의 영향 범위가 넓은 만큼 실험은 선택이 아니라 필수죠. “배포 하고 안 되면 롤백하면 되지 않냐”고 하지만, 심각한 지표 변화가 아니면 애초에 알아채지도 못합니다.
실험 도구와 문화가 자리 잡은 조직이라면 실험을 기본값으로 두는 게 맞습니다. 빠른 생산과 실험이 결합하면 속도와 안정성을 함께 가져가고, 성공과 실패 요인을 명확히 알게 되면서 다음 제품 개발에도 시너지가 납니다.
——
결국 배포냐 실험이냐는 우열의 문제가 아니라, 처한 환경에 맞는 방법을 고르는 문제입니다. 제가 늘 느끼는 가장 큰 문제는 “저 회사가 하니까 우리도”라는 생각입니다. 우리 조직과 내 상황에 맞는 방법을 찾아서 문제를 해결해보는 것을 권장 드립니다.
