CTR이 올랐는데, 고객도 좋아했을까? 토스가 숫자 뒤에서 본 것

마케팅 성과를 확인할 때 가장 먼저 보는 건 숫자입니다. CTR이 올랐는지, 전환율이 좋아졌는지, 설치와 구매가 얼마나 발생했는지 확인해요. A/B 테스트를 했다면 성과가 더 좋은 안을 고르고, 다음 캠페인에도 활용합니다. 성과를 판단하고 다음 액션을 정하기 위해 꼭 필요한 과정이죠.

그런데 숫자가 좋아졌다는 사실만으로 고객도 우리 메시지를 좋게 받아들였다고 말할 수 있을까요? 클릭하지 않았지만 브랜드를 좋게 본 사람도 있을 수 있습니다. 반대로 클릭은 했지만 혜택 때문에 눌렀거나, 별다른 감정 없이 행동했을 수도 있어요. 전환까지 했지만 그 과정에서 불편함이나 피로감을 느꼈을 수도 있고요. 우리가 성과표에서 확인하는 숫자만으로는 고객이 어떤 마음으로 행동했는지까지 모두 알기 어렵습니다.

지난 9월 15일 열린 E-마케팅 인사이트 서밋 2026(EMIS 2026)에서 토스 정희연 CDO/CHRO는 ‘사람을 움직이는 감각: AI가 대신할 수 없는 것’을 주제로 토스가 진행해온 UX 라이팅과 마케팅 실험을 소개했습니다. 발표에서는 CTR과 전환 같은 결과를 확인하는 데서 멈추지 않고, 왜 그런 행동이 나왔는지 사용자에게 묻고 다시 실험하는 토스의 사례를 만나볼 수 있었어요. 정희연 CDO/CHRO는 AI를 통해 수많은 결과와 수치를 확인할 수 있는 시대일수록 ‘왜 이런 결과가 나왔는지’까지 생각하는 일이 중요하다고 설명했습니다.

1. 고객의 클릭, 좋은 의미만 담긴 건 아니다

푸시 메시지의 CTR이 올랐다면 보통 좋은 결과라고 생각하실 텐데요! 실제로 이전보다 많은 고객이 메시지를 눌렀으니 긍정적인 신호로 볼 수 있습니다. 다만 여기서 한 가지를 더 구분해서 볼 필요가 있어요. 클릭은 고객이 한 행동이고, 호감은 고객이 느낀 감정이죠. 둘은 같은 데이터가 아니라는 점이에요. 즉, 클릭을 했다고 무조건 호감을 가졌다고 판단하면 데이터 분석에서 중요한 한 가지를 놓칠 수 있습니다.

토스 발표에서도 이 차이를 보여주는 사례가 나왔어요. 토스가 ‘두끼떡볶이 500인분 쏠게요’와 같은 이벤트 메시지를 보냈을 때, 사용자는 메시지만 보고도 대략 어떤 이벤트인지 예상했다고 해요. 이벤트 페이지가 나오고, 무언가에 참여해야 하고, 당첨되는 사람은 많지 않을 것이라는 것까지요. 여기까지만 보면 사용자가 메시지를 정확히 이해하고 있었어요.

그런데 토스가 사용자에게 “어떻게 알았어요?”라고 다시 물었을 때 나온 답은 조금 달랐습니다.

이벤트가 기대돼서 내용을 예상한 게 아니라, 비슷한 경험이 반복되면서 이미 패턴을 익힌 것이죠. 같은 메시지를 보고 클릭했더라도 누군가는 기대감을 느꼈을 수 있고, 누군가는 ‘또 이런 이벤트구나’라고 생각했을 수 있습니다.

반대의 경우도 생각해볼 수 있어요. 푸시를 보고 클릭하지 않았다고 해서 그 고객이 메시지나 브랜드를 부정적으로 봤다고 말하기는 어렵습니다. 지금 당장 필요한 혜택이 아니라서 넘겼지만 좋은 인상을 받았을 수도 있고, 나중에 필요할 때 브랜드를 떠올릴 수도 있어요.

그래서 행동 데이터와 감정 데이터를 한 번에 묶어 해석하지 않는 게 중요합니다. CTR은 얼마나 많은 사람이 눌렀는지는 정확하게 알려줘요. 하지만 왜 눌렀는지, 누르면서 어떤 감정을 느꼈는지는 다른 방식으로 확인해야 합니다. 행동을 감정까지 설명해주는 숫자로 받아들이는 순간, 고객을 실제 모습보다 단순하게 해석할 수 있어요. 그리고 그렇게 단순해진 고객상을 기준으로 다음 메시지를 만들면, 비슷한 메시지가 계속 반복되고 고객은 점점 무감각해집니다.

2. CTR은 뛰었는데, 카드 발급은 줄었다

고객의 행동과 감정을 나눠서 봤다면, 이번에는 중간 지표와 최종 목표도 구분해볼 필요가 있습니다. 정희연 CDO/CHRO는 이 차이를 보여주는 카드 관련 실험도 소개해주셨어요.

기존 메시지에 작은 보상을 바로 받을 수 있다는 내용을 강조하자 CTR이 크게 올랐습니다. 클릭 수치만 보면 훨씬 좋은 문구를 찾은 것처럼 보였어요. 그런데 정작 최종 목표였던 카드 발급에서는 기대했던 결과가 나오지 않았습니다. 카드를 만들고 싶어서 들어온 고객만 늘어난 게 아니라, 눈앞의 보상을 받기 위해 클릭한 고객도 함께 늘어났기 때문이에요.

여기서 CTR이 잘못 측정된 건 아닙니다. 실제로 더 많은 사람이 눌렀어요. 다만 CTR이 답해준 질문과 우리가 해결하려던 문제가 달랐습니다.

카드 발급뿐만 아니라 다른 마케팅 영역에도 적용되는 이야기입니다. 앱 설치 캠페인에서 CPI가 낮아졌어도 설치한 고객이 다시 앱을 열지 않는다면 리텐션 문제는 그대로 남아요. 게임 광고에서 설치 수가 늘어도 실제 플레이와 결제로 이어지는지는 따로 확인해야 합니다. 콘텐츠 역시 조회수가 크게 올랐는데 정작 제품이나 서비스에 관심을 보이는 독자는 늘지 않을 수 있고요.

특정 지표를 목표로 잡고 더 높은 성과를 만들기 위해 노력하는 건 중요합니다. 다만 수치 하나만 바라보기 시작하면 문제를 보는 시야가 좁아질 수 있어요. CTR을 높이는 방법은 여러 가지가 있습니다. 보상을 크게 보여줄 수도 있고, 호기심을 자극하거나 긴박감을 키울 수도 있죠. 중요한 건 그 방법이 우리가 원래 만들고 싶었던 고객 행동과 같은 방향으로 가고 있는지입니다.

지표를 정하는 것도 사람이고, 그 지표가 목적에서 벗어나는 순간을 알아채는 것도 사람이라는 이야기였습니다.

지표 상승 자체는 하나의 방법이 효과가 있었다는 사실을 보여줍니다. 그 방법이 우리 비즈니스 목표에 맞는지까지 숫자가 대신 판단해주지는 않아요. 그래서 마케터는 수치가 올랐을 때도 ‘왜 이 수치를 높이려고 했지?’, ‘이 방법으로 높이는 게 우리가 원했던 방향이 맞나?’를 같이 봐야 합니다. 목적을 놓치지 않아야 다음 해결책도 제대로 찾을 수 있어요.

3. ‘실패’를 지웠더니 오히려 더 불편해졌다

그렇다면 숫자로 확인하기 어려운 고객의 감정은 마케터의 경험이나 직감으로 판단하면 될까요? 당연히 그것만으로 판단해서는 안 된다는 사실, 잘 알고 계실 텐데요. 토스 팀에서도 실제로 예상과 다른 고객 반응을 경험했다고 합니다.

토스 라이팅팀은 한때 앱 안에서 ‘실패’라는 표현을 줄이는 것을 중요하게 보고 있었어요. ‘실패했어요’라는 말 자체가 부정적인 느낌을 주기 때문에 조금 더 부드러운 표현으로 바꾸면 고객 경험도 좋아질 것이라고 생각한 거죠. 이 사례는 이데일리와 정희연 CDO/CHRO의 인터뷰에서도 대표적인 UX 라이팅 사례로 소개된 바 있는데요.

토스 프라임 구독 해지 상황에서 두 문구를 비교했습니다. 예상대로라면 ‘실패’라는 단어를 뺀 두 번째 문구가 더 편하게 느껴져야 했어요. 그런데 실제 사용자 반응은 반대였습니다.

토스는 그 이유를 문제가 생긴 원인을 사용자가 어디에 있다고 느끼는지에서 찾았습니다. ‘해지에 실패했어요’라고 하면 서비스나 시스템의 문제로 받아들일 수 있지만, ‘해지하지 못했어요’라고 하면 자신의 카드나 계정, 행동에 문제가 있는 것처럼 느낄 수 있다는 해석이에요. 같은 상황을 설명하더라도 어떤 표현을 사용하느냐에 따라 사용자가 책임의 원인을 다르게 받아들일 수 있었던 거죠.

원인이 시스템에 있다고 느끼면 다시 시도해볼 여지가 생깁니다. 반대로 원인이 자신에게 있다고 느끼면 불안과 짜증이 남고, 그게 문의로 이어질 가능성도 커집니다. 문구 하나가 고객 경험만이 아니라 상담 부담까지 건드리는 셈이에요.

여기서 ‘실패’라는 단어를 쓰는 게 더 좋다는 결론을 가져갈 필요는 없습니다. 더 중요한 건 마케터가 친절하다고 생각한 표현이 고객에게도 항상 친절하게 읽히지는 않는다는 점이에요.

‘간편하게’나 ‘쉽게’가 그렇습니다. 배려한다고 넣지만 없어도 뜻이 통하는 경우가 대부분이에요. 발표에서도 우리가 왜 ‘간편하게’라고 쓰고 있는지를 되물었습니다.

‘놓치지 마세요’나 ‘지금 받기’는 고객의 불안을 건드려 행동을 재촉하는 표현입니다. 토스는 이런 방식을 지양한다고 했어요. 당장 클릭은 나올 수 있어도, 그렇게 움직인 고객이 브랜드를 어떻게 기억할지까지는 알 수 없으니까요!

우리에게 익숙하고 긍정적으로 느껴지는 단어라고 해서 고객도 같은 맥락으로 받아들인다고 확신하기는 어렵습니다.

고객을 어떻게 부르는지도 결과를 바꿉니다.

토스는 표현을 다듬는 데서 한 걸음 더 나갔습니다. 고객을 어떻게 부르는지도 실험했는데요. 세금 환급을 안내하면서 ‘지은님’이라고만 부른 문구는 4.4%, ‘성실 납세자 지은님’이라고 부른 문구는 7.5%였어요. 같은 사람에게 역할 하나를 붙여주었을 뿐인데 반응이 1.7배 가까이 뛴 셈입니다.

행동을 말하는 방식도 마찬가지였습니다. ‘받을지도 몰라요’는 3.8%, ‘할 수 있을 거예요’는 7.6%. 문장 하나를 바꿔 딱 두 배가 됐습니다. 가능성을 알려주는 문장보다, 당신이 해낼 수 있다고 말하는 문장이 사람을 더 움직였어요.

발표에서는 2011년에 나온 미국 선거 연구로도 설명해주셨는데요. 참여를 권할 때 ‘투표하기’라고 동사로 물었을 때보다 ‘투표자가 되기’라고 명사로 물었을 때 실제 투표율이 더 높았다고 합니다. 무엇을 하라고 말하는 대신 어떤 사람이 되라고 말할 때 사람이 더 움직인다는 이야기죠.

‘구독하기’ 대신 ‘구독자가 되기’, ‘참여하기’ 대신 ‘참여자가 되기’처럼요. 고객에게 어떤 자리를 줄지 한 번 생각해보면 어떨까요?

표현 하나, 호칭 하나가 결과를 이만큼 바꾼다면 숫자만 보고 판단하기는 어렵겠죠. 행동을 확인한 다음에는 그 행동이 나온 이유도 함께 살펴봐야 합니다. 왜 클릭했는지, 왜 여기에서 멈췄는지, 왜 같은 혜택인데 표현에 따라 반응이 달라졌는지를 묻는 거예요. 정량 데이터가 고객의 행동을 보여준다면, 사용자 인터뷰와 조사, 추가 실험은 그 행동이 나온 이유를 확인하는 과정이 됩니다.

4. 잘된 문구보다 ‘왜 잘됐는지’를 남긴다

A/B 테스트에서 B안이 이겼다면 보통은 그 결과를 다음 캠페인에 활용합니다. 성과가 좋았던 소재를 모아두고 비슷한 소재를 추가로 만드는 것도 자주 사용하는 방식이에요. 토스는 여기에서 ‘어떤 문구가 이겼는지’와 함께 ‘왜 이겼는지’까지 남기는 방식을 택했습니다.

예를 들어 여러 실험에서 짧은 문구의 성과가 좋았다고 해볼게요. 그렇다고 모든 문구를 무조건 짧게 만들면 다른 문제가 생길 수 있습니다. 어떤 상황에서는 브랜드명을 써야 사용자가 무엇에 대한 메시지인지 빠르게 이해할 수 있고, 조건을 충분히 알려줘야 불안함 없이 다음 행동으로 넘어갈 수도 있어요. ‘짧게 쓰면 잘된다’는 결과만 남기면 다음 상황에서도 같은 답을 반복하게 됩니다.

그래서 토스는 이런 흐름으로 인사이트를 쌓습니다.

그렇게 쌓인 실험은 여섯 줄의 라이팅 원칙이 됐습니다.

중요한 건 이 원칙 자체를 외우는 게 아니라, 각 원칙이 실제 고객 반응을 확인하는 과정에서 만들어졌다는 점입니다.

이 부분은 광고 소재나 CRM 메시지를 운영할 때도 생각해볼 만해요. 특정 소재의 CTR이 높았다면 ‘이 소재 잘됐으니 비슷하게 하나 더 만들어주세요’에서 멈추지 않고, 왜 반응했는지 가설을 붙여보는 거예요. 가격을 전면에 보여줘서였는지, 고객의 상황을 정확하게 짚어서였는지, 해야 할 행동이 쉬워 보여서였는지 하나씩 나눠볼 수 있어요. 그리고 다음 실험에서도 같은 요소를 확인했을 때 비슷한 결과가 반복된다면, 그때부터는 잘된 소재 한 개가 아니라 우리 고객에 대해 새롭게 알게 된 내용이 됩니다.

성과 보고서에 ‘B안 승리’만 남으면 다음에는 그 문구를 비슷하게 만드는 데 그칠 가능성이 큽니다. 반대로 왜 잘됐는지까지 남기면 다음 캠페인에서는 상황에 맞춰 판단할 수 있어요. 개인의 감각이나 한 번의 성공 사례가 팀에서 계속 활용할 수 있는 기준으로 바뀌는 지점입니다.

5. AI에게 카피를 맡겨도, 목표까지 맡길 수는 없다

답은 상황이 바뀌면 달라집니다. 이번에 통한 문구가 다음에도 통한다는 보장이 없죠. 그런데 질문하는 능력은 상황이 바뀌어도 남습니다. 토스가 답이 아니라 질문을 쌓는다고 말한 이유예요.

여기까지 보면 토스가 AI 시대에 왜 ‘질문하는 능력’을 강조했는지도 이해할 수 있습니다. AI는 이미 카피 초안을 빠르게 만들고, 다양한 버전을 제안하고, 맞춤법이나 내부 라이팅 원칙을 검수하는 데 활용되고 있어요. 토스 역시 이런 업무에 AI를 사용하고 있습니다.

정희연 CDO/CHRO는 AI가 주어진 기준 안에서 답을 빠르게 만드는 데 강하지만, 어떤 문제를 풀어야 하는지와 무엇을 최적화할지는 사람이 정해야 한다고 설명했습니다. 앞에서 본 카드 발급 사례를 여기에 대입해보면 이해가 쉬워요. AI에게 ‘CTR을 높이는 카피를 만들어줘’라고 요청하고 실제 CTR이 올랐다면, AI는 요청받은 목표를 잘 수행한 셈입니다. 하지만 우리의 진짜 목표가 카드 발급이었다면 애초에 다른 질문을 던졌어야 해요.

토스에서도 AI를 붙이고 나서 오탈자와 띄어쓰기, 내부 컨벤션을 맞추는 일은 좋아졌다고 합니다. 그런데 동시에 평균은 올라가는데 상방은 낮아진다고 짚어주셨어요. AI가 잘 맞추는 건 확률적으로 가장 그럴듯한 중앙값이라, 특정 고객의 맥락과 감정까지 파고든 문장은 오히려 덜 나온다는 이야기였습니다.

그런데 AI가 빠르다는 건 잘못 잡은 목표를 향해서도 그만큼 빨리 달린다는 뜻이기도 합니다. CTR을 높이는 게 목표라고 설정하면 AI는 더 잘 클릭하게 만드는 방법을 계속 제안할 수 있어요. 그렇기 때문에 AI를 얼마나 잘 사용하는지만큼, 무엇을 위해 사용할지를 먼저 정하는 일이 중요합니다.

고객에게 어떤 감정을 남기고 싶은지, 이번 캠페인에서 실제로 바꾸고 싶은 행동은 무엇인지, 클릭과 최종 전환이 반대로 움직였을 때 어느 쪽을 기준으로 판단할지 먼저 정해야 해요. 토스가 설명한 흐름을 간단히 정리하면 사람이 질문하고 실험해 원칙을 만들고, AI가 그 원칙을 더 많은 업무에 적용하는 방식입니다.

그렇다면 사람은 무엇을 물어야 할까요? 정희연 CDO/CHRO가 꼽은 질문의 방향은 세 가지였습니다.

AI 시대에 마케터가 AI와 카피 실력을 겨뤄야 하는 건 아닙니다. 그전에 지금 어떤 문제를 풀어야 하는지, 어떤 결과를 좋은 성과라고 볼지 정하는 역할이 더 중요해지고 있어요. AI에게 답을 요청하기 전에, 우리가 어떤 질문을 던질지부터 생각해야 하는 이유입니다.

6. 숫자가 좋아져도, 확인할 게 남아 있다

CTR, CVR, ROAS는 여전히 중요한 마케팅 지표입니다. 다만 숫자를 확인한 다음에는 그 숫자로 어디까지 알 수 있는지를 구분해서 보는 게 좋아요.

예를 들어 CTR이 올랐다면 ‘더 많은 사람이 클릭했다’는 사실은 알 수 있습니다. 그다음에는 왜 눌렀는지 확인해야 해요. 서비스 자체에 관심이 있었는지, 보상을 받기 위해서였는지에 따라 같은 클릭도 의미가 달라집니다. 클릭하지 않은 고객도 바로 관심 없는 고객으로 분류하기보다, 지금 행동하지 않은 이유와 메시지를 보고 느낀 인상은 별개일 수 있다는 점을 생각해볼 수 있고요.

그리고 한 단계 뒤의 행동까지 이어졌는지도 확인해야 합니다. 클릭이 구매와 가입, 재방문으로 이어졌는지, 우리가 원했던 고객이 실제로 움직였는지를 보는 거예요. 여기에서 끝나지 않고 왜 이런 결과가 나왔는지 설명할 수 있는지까지 확인하면 다음 캠페인에서 활용할 수 있는 내용이 생깁니다.

성과를 다시 볼 때는 이렇게 나눠서 생각해보면 좋습니다.

토스 사례에서 참고할 만한 건 특정 카피 공식이 아니라 이런 과정입니다. 숫자가 올랐다는 사실을 확인한 뒤 한 번 더 이유를 묻고, 고객의 상황과 감정을 확인하고, 그 결과를 다음 판단에도 활용할 수 있게 만드는 거예요.

다음 성과 리포트에서 CTR이 올랐다면 ‘잘됐다’에서 바로 끝내지 않고 이렇게 한 번 더 물어볼 수 있습니다.

EMIS 현장에서 나왔던 질문