리텐션

한동안 제품이 잘되고 있다는 증거는 이번 달에 몇 명이 새로 들어왔는지였습니다. 신규 가입 3,000명이라는 숫자가 지난달 2,500명보다 크면 성장한 것으로 봤습니다. 한 번 팔고 끝나는 설치형 소프트웨어라면 그 셈법이 맞았습니다. 돈은 파는 순간에 이미 받았으니 그 뒤에 그 사람이 쓰든 말든 장부는 달라지지 않았습니다.

매달 요금을 받는 구독 제품으로 넘어오면서 이 셈법이 어긋났습니다. 가입은 시작일 뿐이고, 매출은 그 사람이 다음 달에도 남아 있어야 생깁니다. 가입 3,000명을 데려오는 데 광고비 3,000만 원을 쓰고 그중 2,700명이 한 달 안에 사라지면, 늘어난 것은 가입자 숫자뿐이고 줄어든 것은 통장 잔고뿐입니다.

페이지덱에서도 같은 회의가 반복됐습니다. 현우가 "이번 달 신규 가입 3,000명입니다" 하고 보고하면 규원이 "지난달 3,000명은 지금 몇 명 남았습니까" 하고 되물었고, 그 자리에서 답할 수 있는 사람이 없었습니다. 회사가 보고 있던 숫자는 들어온 사람의 수였지 남아 있는 사람의 수가 아니었기 때문입니다. 매달 새로 붓는 물의 양은 알면서 독에 구멍이 몇 개인지는 아무도 세지 않았던 것입니다.

리텐션은 그 구멍을 세려고 만든 숫자입니다. 재는 방향을 뒤집어 놓았습니다. 이번 달에 몇 명이 들어왔는지가 아니라, 지난달에 들어온 사람들이 지금 몇 명 남았는지를 봅니다. 들어오는 쪽을 보면 마케팅의 성적이 나오지만, 남는 쪽을 보면 제품의 성적이 나옵니다. 계속 돌아온다는 것은 사용자가 매번 다시 열어 볼 만한 이유를 그 제품에서 찾았다는 뜻이고, 이건 광고 문구로는 만들 수 없는 종류의 결과입니다.

제품 축에서 지표 갈래는 사용자가 지나는 시간 순서대로 늘어서 있습니다. 새 사용자가 처음 들어오는 획득이 첫 칸, 그 사람이 제품의 쓸모를 처음 체감하는 활성화가 다음 칸, 그 뒤로 계속 돌아오는 정도가 리텐션입니다. 세 칸의 순서가 중요합니다. 활성화가 안 된 사용자는 애초에 돌아올 이유를 못 만난 사람이라서, 리텐션이 낮을 때 손대야 할 곳이 리텐션이 아니라 그 앞 칸인 경우가 자주 있습니다.

리텐션 아래에는 용어 다섯 개가 있고 두 갈래로 나뉩니다. 같은 현상을 어떤 식으로 세느냐로 갈린 계산 방식이 셋, 돌아오지 않는 쪽에서 같은 현상을 보는 반대 개념이 둘입니다.

어느 방식을 쓰든 계산의 뼈대는 같습니다. 네 가지를 먼저 정해야 숫자가 나옵니다.

1. 분모가 될 집단을 정합니다. 같은 시기에 들어온 사람들을 한 덩어리로 묶는데, 이 덩어리를 코호트라고 부릅니다. 9월 첫 주에 가입한 500명 같은 식입니다. 신규와 기존을 섞어 놓고 세면 숫자가 무엇을 뜻하는지 아무도 설명할 수 없게 됩니다.
2. 돌아왔다는 것이 무엇인지 정합니다. 로그인만 해도 돌아온 것으로 볼지, 문서를 한 번 열어야 하는지, 편집까지 해야 하는지에 따라 같은 제품에서도 숫자가 두 배 차이로 벌어집니다. 페이지덱은 문서를 열거나 고친 것을 기준으로 삼습니다.
3. 재는 간격을 정합니다. 제품을 원래 얼마나 자주 쓰는 물건인지에 맞춥니다. 협업 문서 툴처럼 일하는 날마다 여는 제품은 일이나 주 단위로 보고, 1년에 한두 번 쓰는 항공권 예약 서비스를 일 단위로 보면 거의 모든 날이 0으로 나옵니다.
4. 나눕니다. 500명 중 7일째에 160명이 돌아왔으면 32퍼센트입니다.

계산 방식 셋은 3번과 4번을 다르게 잡은 변형입니다.

• N일 리텐션 — 가입 후 정확히 N일째 되는 날에 돌아온 비율입니다. 7일째 하루만 봅니다. 그 사이 사흘을 썼어도 7일째에 안 들어왔으면 세지 않습니다. 매일 쓰는 제품의 습관을 보려 할 때 맞고, 가장 엄격해서 숫자가 제일 낮게 나옵니다.
• 롤링 리텐션 — N일이 지난 뒤에 한 번이라도 돌아온 적이 있으면 세는 방식입니다. 7일째에 없었어도 12일째에 한 번 들어왔으면 남은 것으로 봅니다. 가끔 쓰는 제품에 맞고, 같은 코호트를 N일 리텐션으로 재는 것보다 항상 높게 나옵니다. 두 숫자를 나란히 놓고 비교하면 안 되는 이유가 여기 있습니다.
• 코호트 리텐션 — 가입 시기별로 여러 코호트를 만들어 나란히 늘어놓고 비교하는 방식입니다. 6월 가입자와 9월 가입자의 4주차 숫자를 붙여 보면 그사이에 제품이 나아졌는지가 보입니다. 앞의 둘이 한 집단의 숫자 하나를 내놓는다면 이쪽은 시간에 따른 변화를 봅니다.

반대 개념 둘은 같은 현상을 떠나는 쪽에서 봅니다.

• 처른 — 사용자나 고객이 떠나는 현상입니다. 뜻은 리텐션의 거울상이라 한쪽이 30퍼센트면 다른 쪽이 70퍼센트입니다. 그래도 두 말을 다 쓰는 이유는 보는 사람이 다르기 때문입니다. 제품팀은 남은 사람이 무엇을 하는지 보려고 리텐션을 쓰고, 매출을 다루는 쪽은 이번 달에 빠져나간 금액을 세야 해서 처른을 씁니다.
• 복귀 사용자 — 떠났다가 다시 돌아온 사용자입니다. 리텐션의 분모에는 원래 안 잡히는 사람들이라 따로 셉니다. 90일 동안 안 들어오던 사람이 새 기능 안내 메일을 받고 다시 열었다면 여기에 해당합니다.

숫자가 나온 다음에 판단할 차례가 오는데, 이때 절대값을 남과 비교하는 것은 거의 쓸모가 없습니다. 하루에도 몇 번씩 여는 메신저와 1년에 한 번 쓰는 세금 신고 서비스가 같은 기준으로 비교될 수 없기 때문입니다. 대신 보는 것은 시간에 따라 그린 곡선의 모양입니다.

같은 코호트를 1주·2주·4주·8주·12주로 이어 그렸을 때 60·45·33·31·30처럼 떨어지다가 어느 선에서 멈추면, 그 30퍼센트가 이 제품을 계속 쓸 이유를 찾은 사람들의 몫입니다. 반대로 45·28·14·6·2처럼 바닥까지 내려가면 제품을 붙들 이유를 아무도 못 찾았다는 뜻이고, 이 상태에서는 유입을 아무리 늘려도 같은 속도로 빠져나갑니다. 실무에서 곡선이 평평해졌는지를 먼저 보는 이유입니다.

새 기능을 열고 며칠간 숫자가 튀어 오르는 것도 조심해야 합니다. 새로워서 잠깐 좋아 보이는 착시를 신기 효과라고 하는데, 2주만 지나면 원래 자리로 돌아오는 경우가 많습니다. 그래서 개선 여부는 한 코호트의 등락이 아니라 여러 코호트의 같은 주차를 견줘 판단합니다. 같은 시기에 들어온 집단끼리 묶어 비교하는 방법 전체를 코호트 분석이라고 부르고, 리텐션은 그 분석이 가장 자주 쓰이는 자리입니다.

기업 고객을 상대하는 제품에서는 사람 수 대신 금액으로 같은 것을 재기도 합니다. 기존 고객이 낸 돈이 1년 뒤에 얼마로 남았는지를 확장과 해지까지 더해 계산한 값이 순 매출 유지율입니다. 열 곳 중 두 곳이 떠났어도 남은 여덟 곳이 자리를 늘려 결제액이 커졌다면 사람 수로 본 리텐션은 80퍼센트인데 금액으로 본 값은 110퍼센트가 될 수 있습니다.

성장을 실험으로 다루는 그로스 쪽에서도 같은 구간을 봅니다. 거기서는 사용자가 계속 돌아오는 구간 자체를 유지 단계라고 부르고, 그 구간에서 무엇을 바꿔야 숫자가 움직이는지를 실험으로 확인합니다. 재는 값은 같지만 쓰는 목적이 다릅니다. 제품 쪽에서 리텐션은 지금 상태가 어떤지 알려 주는 진단이고, 그로스 쪽에서 같은 값은 이번 실험이 통했는지 가르는 판정 기준입니다. 그래서 두 축의 회의에서 같은 표를 놓고도 나오는 질문이 다릅니다.

"가입은 계속 느는데 4주차 리텐션이 12퍼센트예요. 위에서 붓는 걸 멈추고 아래부터 봐야 합니다."

유입을 늘리는 일을 중단하고 사용자가 남지 않는 원인부터 찾자는 제안입니다.

"그 숫자 롤링으로 잰 거예요, N일로 잰 거예요? 섞어서 보고하면 안 됩니다."

계산 방식이 다르면 값이 달라지니 기준을 맞추자는 지적입니다.

"지난주에 올라간 건 신기 효과일 수 있어요. 9월 코호트 4주차까지 보고 판단하죠."

단기 상승을 개선으로 읽지 말고 같은 주차끼리 비교해 확인하자는 뜻입니다.

페이지덱은 매주 월요일에 주 단위 리텐션 표를 봅니다. 가로가 가입 이후 주차이고 세로가 가입한 주라서, 아래로 내려갈수록 최근에 들어온 집단입니다. 지현은 이 표에서 가로줄 하나를 따라가지 않고 세로 열 하나를 위아래로 훑습니다. 4주차 열만 보면 6월에 들어온 사람은 27퍼센트가 남았고 9월에 들어온 사람은 34퍼센트가 남았다는 것이 한눈에 들어오기 때문입니다.

지난 분기에 이 표에서 한 가지가 발견됐습니다. 동료를 한 명이라도 초대한 사용자와 혼자 쓴 사용자의 4주차 숫자가 41퍼센트와 9퍼센트로 갈렸습니다. 지현이 이 두 줄을 회의에 가져오자 다음 분기의 일이 정해졌습니다. 새 기능을 더 붙이는 대신 가입 첫 주에 동료를 부르게 만드는 쪽으로 화면을 고치기로 한 것입니다. 리텐션이라는 숫자 자체는 무엇을 하라고 말해 주지 않지만, 집단을 갈라 보면 그 안에서 할 일이 나옵니다.

리텐션이 낮으면 리텐션을 고쳐야 한다고 읽는 경우가 가장 많습니다. 이름이 그렇게 붙어 있으니 자연스러운 생각입니다. 하지만 이 숫자는 앞 칸에서 일어난 일의 결과인 경우가 많습니다. 애초에 맞지 않는 사람을 데려왔거나, 들어온 사람이 제품의 쓸모를 한 번도 못 겪고 나갔다면 4주차에 남을 이유가 없습니다. 할인 행사로 데려온 사용자의 4주차가 5퍼센트인데 검색으로 들어온 사용자는 30퍼센트라면, 그건 제품이 붙잡지 못한 것이 아니라 잘못된 사람을 데려온 것입니다. 숫자를 올리려고 다시 돌아오라는 알림을 늘리면 잠깐은 오르지만, 그렇게 불러들인 방문은 다음 달에 다시 빠집니다.

전체 평균 하나로 제품 상태를 판단하는 것도 흔한 오해입니다. 대시보드에 숫자가 하나로 떠 있으니 그 값이 제품의 성적표처럼 보입니다. 그런데 평균은 서로 다른 집단을 뭉개 놓은 값이라, 30퍼센트라는 숫자 뒤에는 70퍼센트로 남는 팀 단위 사용자와 4퍼센트로 빠지는 개인 사용자가 함께 들어 있을 수 있습니다. 이 상태에서 평균을 32퍼센트로 올리자는 목표를 세우면 어느 쪽에 손대야 할지 아무도 모릅니다. 유입 경로별, 요금제별, 회사 규모별로 갈라 보기 전까지 이 숫자는 무엇을 하라고 알려 주지 않습니다.