Do No Harm 실험 방식 🧪
최근 제품 실험을 설계하던 중 데이터 분석가 분께서 Do No Harm이라는 실험 방식을 제안해주셨습니다. 처음 듣는 방식이었기에 실무 적용에 앞서 개념과 활용 방향을 좀 더 명확히 이해하고 싶었고 그 과정에서 정리한 내용을 공유드립니다.
⸻
🌟Do No Harm 실험 방식이란?
Do No Harm은 말 그대로 사용자 경험에 해를 끼치지 않는 것을 검증하는 실험 방식입니다. 일반적인 A/B 테스트가 두 집단 간 효과 차이를 비교해 더 나은 옵션을 찾는 데 목적이 있다면, Do No Harm은 새로운 변화가 기존 대비 성과를 떨어뜨리지 않았는지를 증명하는 데 초점이 있습니다.
실험군이 대조군보다 반드시 더 좋은 결과를 내지 않더라도 기존 성과를 유지했다면 유의미하다고 보는 접근입니다. (준비하고 있는 실험에 아주 적합한 실험 방식이였던 것 같습니다🙄)
⸻
✅일반적인 실험 방식과의 차이점
기존 A/B 테스트는 “전환율이 얼마나 상승했는가?”를 중심으로 성과를 판단합니다. 반면 Do No Harm은 “전환율이 기존보다 낮아지지 않았는가?”를 기준으로 판단합니다.
예를 들어 CTA 버튼의 색상이나 위치를 바꾸는 UI 실험의 경우, 전환율이 반드시 오르지 않더라도 하락하지 않았다는 근거가 있다면 개선된 방향으로 판단할 수 있습니다. (성과 향상이 불확실한 실험에서도 리스크 없이 시도할 수 있는 여지를 주는 방식입니다
⸻
✅어떤 상황에서 유용하게 쓸 수 있을까?
▫️UI/UX 개선 실험
버튼 배치 변경, 온보딩 흐름 정비 등 전환율 상승보다는 사용성 개선 목적이 큰 실험
▫️성과가 이미 좋은 영역에서의 변화 테스트
전환율이 높아 위험 회피가 필요한 구간에서의 변경
⸻
✅실무 적용 시 유의할 점
▫️핵심 지표를 명확히 정의
무엇을 근거로 ‘해를 끼치지 않았다’고 판단할 것인지 사전에 지표를 설정해야 합니다. (데이터 분석가분도 이부분을 아주 중요하게 이야기했고 여러번 언급했습니다)
▫️충분한 샘플과 실험
변화가 없다고 판단하기 위해선 정말 변화가 없는지를 통계적으로 입증할 수 있는 검출력이 필요합니다. (어느정도가 적절할 지는 실험이 끝나면 평가해보려고 합니다)
▫️데이터팀과의 설계 논의가 중요
일반 A/B 테스트와는 가설 수립 및 분석 방식이 다르기 때문에 실험 설계 초기부터 데이터팀과 함께 논의해야 정확한 해석이 가능합니다. (기존에 공유드린 실험 설계 프로세스를 따른다면 데이터 분석가와 협업을 안할 수 없을 겁니다😅)