🚀 리텐션 측정. 10년차 애널리스트의 노하우

리텐션 측정을 위한 10년차 애널리스트의 노하우를 알고 계신 분들은 안보셔도 괜찮아요.

PRODUCT LAB.

2023-05-25

1. 코호트 리텐션을 측정하는 방법

원본 링크 : https://www.lennysnewsletter.com/p/measuring-cohort-retention

✅ 430,000명 이상의 구독자를 보유한 뉴스테러, Lenny’s Newsletter의 인기 글

– 이 글은 마이크로소프트 등의 다양한 기업들에서 10년 동안 리텐션에 대해 분석하고 보고하는 업무를 담당했던 데이터 애널리스트 Olga Berezovsky가 직접 코호트 리텐션을 측정하고 분석하는 방법에 대해 작성한 글이에요. 그녀가 수 년에 걸쳐 찾아낸 다양한 방식들을 빠르게 습득하고 만들고 계시는 프로덕트에 적용해 보세요.

✅ 원본 글 정리 (프로덕트랩의 주관적인 해석 포함)

[1단계. “활성화”에 대한 정의]

– 대부분의 제품이 “활성화 사용자”를 기준으로 리텐션을 계산합니다. 하지만 “활성화”가 의미하는 바는 각각의 제품마다 모두 다릅니다. 다음은 여러 기업에서 “활성화”를 정의할 때 사용하는 가장 일반적인 이벤트들입니다. 각각의 이벤트는 한계점을 가지고 있습니다.

방문(Visit)

– 너무 넓은 범위의 개념이다 보니 활성화 사용자 수를 과도하게 측정할 수 있으며, 식별이 불가한 사용자들로 인해 리텐션을 계산하는데 문제가 발생할 가능성이 높습니다.

세션 시작(Session starts)

– 제품마다 30분, 1시간 등의 특정 시간을 정하고 해당 기준으로 하나의 세션에 대한 길이를 제한해야 합니다. 이렇게 하지 않으면 동일한 유저가 1분에도 수십 번의 세션 시작 이벤트를 발생시킬 수 있기 때문에 활성화 유저에 대한 정확한 측정이 어렵습니다.

로그인 혹은 앱 오픈(Login or app opens)

– 정확한 코호트 리텐션 측정을 위해 동일한 유저가 반복적으로 앱을 오픈하거나 로그인했을 때 중복되는 값을 걸러내는 방법이 필요합니다.

웹 페이지 조회 수 또는 화면 조회 수(Web page views or screen views)

– 너무 넓은 범위이다 보니 휴면 유저 혹은 이탈 유저 등이 활성화 유저로 포함될 수 있습니다.

주요 사용자 액션(Main user action)

– 너무 좁은 범위이다 보니 앱을 계속 사용하고 있음에도 해당 액션만 발생시키지 않는 활성화 유저를 놓칠 수 있습니다.

– 대부분의 회사에서는 로그인 또는 앱 실행을 기준으로 ‘활성화 유저’를 정의합니다. 하지만 보다 명확하고 정확한 데이터 분석을 목표로 한다면 주요 사용자 액션을 활동 이벤트로 사용하는 것을 추천합니다. 주요 사용자 액션을 기준으로 활성화 유저를 정의할 때의 장점은 다음과 같습니다.

– 방문, 화면 조회, 로그인과 같은 실제로 유저가 제품을 사용하는 것과는 다소 무관할 수 있는 이벤트가 아닌 제품의 성장에 있어 정말 중요하다고 생각되는 이벤트를 기준으로 리텐션을 측정할 수 있습니다.

– 이를 통해 활성화 유저에 대한 신뢰도를 높이고 믿을 수 있는 리텐션 지표를 얻을 수 있습니다. 따라서 리텐션뿐만 아니라 DAU, WAU, MAU 등의 다른 지표들을 측정하는 경우에도 주요 사용자 액션을 기준으로 활성화 유저를 측정하는 것을 권장합니다.

[2단계. 단순 유저와 실제 고객에 대한 구분]

– 활성화 사용자를 무료 사용자와 유료 사용자 등으로 구분할 필요가 있습니다. 종종 SaaS 회사에는 무료 사용자와 유료 사용자가 혼합된 하나의 리텐션 지표만을 측정하는 경우가 있습니다.

– 이 경우, 제품에 대해 비용을 지불하는 유료 사용자가 무료 사용자보다 리텐션 지표가 우수하기 때문에 이로 인한 오해가 발생합니다. 또한 무료 사용자의 실제 리텐션 지표를 통해 무료 사용자를 유료 사용자로 전환하기 위해 필요한 인사이트를 얻을 기회를 놓치게 됩니다.

[3단계. 리텐션 측정 방법 정하기]

– 리텐션을 측정하는 대표적인 2가지 방법이 있습니다. ‘X-day retention’ & ‘Unbounded (rolling) retention’ 중 어떤 방법을 선택하느냐에 따라 결과에 큰 영향을 미칩니다.

X-day retention

– X-day retention은 특정 날짜에 재방문하는 사용자의 비율을 측정합니다. 예를 들어, 신규 사용자가 가입 후 정확히 14일째에 앱에 재방문하는 비율을 확인할 수 있습니다. 이 방법은 가장 보수적인 리텐션 측정 방법이기 때문에 다른 방법 대비 리텐션이 낮게 기록됩니다.

Unbounded retention

– Unbounded retention은 특정 날짜 이후에 다시 활성화된 사용자 수를 알려줍니다. 예를 들어, 특정 날짜에 가입한 모든 신규 사용자 중 14일이 지난 후 제품을 사용하는 사용자의 비율을 확인할 수 있습니다.

– 정확히 14일째에 방문하지 않았더라도 그 이후에 방문했다면 해당 사용자가 리텐션 지표에 포함됩니다. 리텐션과 사용자 이탈률을 일치시키고 싶다면 해당 방법을 사용하는 것이 좋습니다.

제가 일반적으로 선호하는 방법은 Unbounded retention입니다.

– KPI와 보다 직접적으로 연결되는 경우가 많고, 이탈률과 반비례하기 때문에 리텐션이 높아질수록 이탈률이 낮아져서 교차 검증이 가능하기 때문입니다. 이를 통해 지표에 대한 신뢰도가 올라갑니다.

하지만 분석 목표와 제품에 가장 적합한 방법을 선택해야 합니다.

– 사용자가 제품을 정기적으로 사용하는 경우에는 (예: 매일 아침 음식 기록, 운동 기록, 팟캐스트 청취 등) X-day retention을 사용하세요.

– 사용자의 재방문 주기로 예측하기 어렵고 사용자 참여 패턴이 혼란스러운 경우에는 Unbounded retention을 사용하세요.

– 온보딩 퍼널이나 마케팅 캠페인 측정과 같은 단기 분석에는 X-day retention이 더 적합합니다.

– Unbounded retention은 사용자 리텐션 지표를 6개월, 9개월, 1년, 2년 단위로 세분화하여 장기적인 사용자 행동을 측정하는 데 더 유용합니다.

[기타 유의사항]

– 리텐션에는 많은 변수들이 포함되어 있기 때문에 주간 보고나 A/B 테스트의 기준으로 사용하기에 적합한 지표가 아닙니다. 제품 분석 팀이 리텐션에 대한 실험을 평가하면서 사용자 이벤트 수의 증가가 리텐션의 변화로 이어지지 않는 이유를 궁금해하는 경우를 자주 보았습니다.

– 사용자 이벤트 수의 증가는 리텐션의 구성 요소 중 하나에 불과하기 때문입니다. 리텐션은 매출과 같은 결과 지표입니다. 이를 모니터링해야 하는 것은 맞지만 테스트나 캠페인의 유일한 목표로 활용해서는 안 됩니다.

– 리텐션은 단순하지 않습니다. B2C 고객과 B2B 고객 간의 리텐션 차이, 이상한 행동을 하는 유저들의 예외 처리 등 리텐션에 대해 훨씬 더 깊게 파고들 수 있습니다. 지속적으로 리텐션 측정을 개선하고 이를 기반으로 제품을 성장시키세요.

✅ 팀원들과 이런 이야기를 나눴어요.

– 저희 팀은 현재 Unbounded retention을 기준으로 리텐션을 측정하고 있는데요, 리텐션이 중요한 지표라는 것은 너무 잘 알고 있지만 이를 개선하기 위한 명확한 액션 플랜을 계획하고 실행하는 데는 어려움을 겪고 있었어요. 이러한 이유로 리텐션 개선을 위한 액션들의 우선순위가 계속 뒤로 미뤄지고 있었죠.

– 이번 글을 읽고 팀원 분들과 함께 리텐션 개선과 연결될 수 있는 세부 지표들에 대해 이야기를 나눴고 그에 따른 액션 플랜을 계획하고 실행해 보기로 했어요. 추가로 유저를 유료 사용자, 무료 사용자 등으로 분류하고 각 세그먼트별 리텐션을 분석해 보기로 했답니다.