리텐션 분석

값을 한 시점의 숫자로만 보던 시절이 있었습니다. 이번 달 활성 사용자 9,100명이라는 값은 지금의 크기를 알려 주지만 그 안에서 무슨 일이 벌어지는지는 가립니다.

같은 9,100명이 전혀 다른 두 상태일 수 있습니다. 한쪽은 지난달에 있던 사람 대부분이 그대로 남아 있는 상태이고, 다른 쪽은 지난달 사람의 절반이 빠지고 새로 들어온 사람이 그 자리를 채운 상태입니다. 앞쪽은 자라는 중이고 뒤쪽은 물이 새는 양동이에 물을 붓는 중인데, 한 시점의 숫자로는 둘이 같게 보입니다. 광고를 멈춘 다음 달에 사용자 수가 절반이 되는 회사가 뒤쪽입니다.

리텐션 분석은 그 차이를 드러내려고 사람을 들어온 시점으로 묶어 시간축에 세우는 방법입니다. 언제 들어온 사람들이 몇 주 뒤에 얼마나 남는지를 보면, 새로 데려오는 일과 남기는 일 가운데 어느 쪽이 부족한지가 갈립니다.

들어온 시기로 사용자를 묶고, 그 묶음이 주가 지날수록 얼마나 남는지를 셉니다. 정할 것은 다섯 가지입니다.

1. 남았다는 것의 기준을 먼저 못 박습니다. 로그인만 해도 남은 것으로 볼지, 문서를 하나라도 열어야 볼지가 값을 크게 바꿉니다. 제품이 값어치를 주는 행동 하나를 골라 그것으로 세는 편이 판단에 쓸모가 있습니다.
2. 묶는 단위를 정합니다. 같은 주에 가입한 사람들을 한 묶음으로 잡는 방식이 기본이고, 이렇게 시기로 묶어 비교하는 것을 코호트 분석이라고 합니다. 제품을 쓰는 주기가 길면 주 대신 달로 묶습니다.
3. 시간축을 정합니다. 매일 쓰는 제품이면 일 단위로, 업무용 도구면 주 단위로 봅니다. 축을 잘못 잡으면 주말마다 값이 꺾이는 그래프를 해석하느라 시간을 씁니다.
4. 표로 만들고 곡선으로 그립니다. 가로에 경과 기간, 세로에 가입 시기를 놓은 표가 기본 형태입니다. 100명으로 시작해 1주 차 45명, 2주 차 30명, 4주 차 24명이면 그 묶음의 곡선은 가파르게 떨어지다 완만해집니다. 이 모양을 리텐션 곡선이라고 부릅니다.
5. 곡선이 눕는지 봅니다. 어느 높이에서 더 떨어지지 않고 옆으로 가는 리텐션 곡선 평탄화가 확인되면 그 비율이 이 제품에 자리 잡는 사람의 몫입니다. 바닥까지 내려가 0에 닿으면 붙잡히는 사람이 없다는 뜻입니다.

여기까지가 전체를 보는 단계이고, 그다음은 쪼개는 단계입니다. 집단을 갈라 차이를 비교하는 세그먼트 분석을 얹어 요금제별로, 팀 규모별로, 유입 경로별로 곡선을 따로 그립니다. 전체 곡선이 눕지 않는데 한 집단만 눕는 경우가 흔하고, 그 집단이 이 제품의 대상이 됩니다.

반복해서 쓰는 제품에 맞습니다. 구독으로 돈을 받거나 매주 열어 보는 도구라면 남는 비율이 곧 사업의 크기를 정합니다. 가입을 늘리는 일과 남기는 일 가운데 어디에 사람을 붙일지 정해야 할 때 이 분석이 답을 줍니다.

단계별로 얼마나 빠져나가는지 보는 퍼널 분석과 함께 쓰는 자리도 많습니다. 퍼널은 가입 직후 며칠 안의 이탈을 잘 보여 주고, 리텐션 분석은 그 뒤 몇 주에서 몇 달을 봅니다. 첫 주에 절반이 빠지는 문제는 퍼널 쪽에서, 넉 달째에 조용히 빠지는 문제는 이쪽에서 드러납니다.

맞지 않는 자리도 분명합니다. 한 번 쓰고 끝나는 제품에는 이 분석이 성립하지 않습니다. 이사 견적을 한 번 받는 서비스에서 4주 차 잔존을 재는 것은 의미가 없습니다. 계약이 연 단위로 걸린 기업 제품에서도 개인 사용자의 주간 잔존은 계약 유지와 이어지지 않습니다. 이때는 계약 갱신율과 사용 계정 수를 따로 봅니다.

한계는 시간입니다. 4주 차 값을 알려면 4주를 기다려야 하고, 석 달 뒤 값을 알려면 석 달이 걸립니다. 그래서 지난 기록으로 과거 묶음을 먼저 그려 보는 것이 첫 작업이 됩니다. 또 묶음이 작으면 값이 흔들립니다. 한 주에 열두 명이 가입한 제품에서 4주 차 잔존 25퍼센트는 세 명이라는 뜻이고, 한 명만 달라져도 33퍼센트가 됩니다.

"전체 곡선은 안 눕는데 5인 이상 팀만 보면 눕습니다."

집단을 쪼갠 뒤에 신호가 나왔다는 보고입니다.

"이번 달 활성 사용자는 그대로인데 4주 차 잔존이 두 달째 내려가고 있어요."

지금 숫자가 아니라 앞으로의 숫자를 걱정하는 말입니다.

"남았다는 기준을 로그인에서 문서 열기로 바꾸겠습니다."

세는 기준을 제품의 값어치에 맞추자는 제안입니다.

페이지덱에서 이 분석이 결정을 바꾼 것은 활성 사용자가 늘고 있던 분기였습니다. 월간 활성 사용자는 두 분기 연속 올랐고, 광고 예산을 더 넣자는 제안이 회의에 올라왔습니다.

지현이 들어온 시기로 묶어 그려 본 결과는 달랐습니다. 혼자 쓰는 사용자의 곡선은 8주 차에 6퍼센트까지 내려가 바닥에 닿았고, 5인 이상 팀으로 쓰는 사용자만 26퍼센트에서 평평해졌습니다. 늘어난 활성 사용자는 대부분 앞쪽 집단이었습니다. 광고를 늘리는 결정은 보류되고, 팀으로 쓰게 만드는 첫 경험을 손보는 일이 그 분기의 과제가 됐습니다.

잔존율 한 숫자로 요약하려는 경우가 가장 많습니다. 4주 차 잔존 24퍼센트라는 값 하나면 보고가 끝나니 편합니다. 하지만 이 분석의 답은 숫자가 아니라 곡선의 모양입니다. 같은 24퍼센트라도 계속 떨어지는 중인 곡선과 20퍼센트대에서 이미 누운 곡선은 전혀 다른 상태입니다. 앞쪽은 몇 주 뒤에 10퍼센트가 되고 뒤쪽은 그 자리에 머뭅니다. 한 칸만 보고하면 이 차이가 사라집니다.

수치가 낮으면 제품이 나쁘다고 읽는 것도 흔합니다. 낮은 값은 분명 신호이지만, 그 값이 무엇과 견줘 낮은지가 먼저입니다. 매일 여는 메신저와 분기에 한 번 쓰는 정산 도구의 4주 차 잔존을 같은 잣대로 놓을 수 없습니다. 제품이 원래 어떤 주기로 쓰이는 물건인지, 같은 제품의 지난 묶음보다 올랐는지 내렸는지가 이 값을 읽는 기준입니다.