롤링 리텐션

돌아온 사람을 세는 가장 단순한 방법은 특정 하루를 정해 그날 들어왔는지 보는 것입니다. 7일째에 들어왔으면 남은 것으로, 안 들어왔으면 떠난 것으로 셉니다. N일 리텐션이 그 방식입니다.

문제는 매일 열지 않는 제품입니다. 페이지덱의 7일 리텐션은 한때 12퍼센트로 나왔습니다. 열 명 중 아홉이 첫 주에 사라진다는 뜻이라 회의 분위기가 무거웠습니다. 그런데 기록을 뜯어 보니 첫 주에 사흘을 쓰고 8일째와 11일째에 다시 들어온 사람이 많았습니다. 협업 문서 툴은 일이 있는 날에 여는 제품이라 특정 하루에 들어와 있을 확률이 낮았던 것입니다. 지현이 8일째 이후 기록까지 세어 보니 같은 집단에서 42퍼센트가 다시 돌아와 있었습니다.

롤링 리텐션은 세는 방식을 바꿔 이 차이를 메웁니다. 하루를 지정해 출석을 확인하는 대신, N일이 지난 뒤 아무 날이든 한 번이라도 들어왔으면 남은 것으로 셉니다. 12퍼센트와 42퍼센트 중 어느 쪽이 맞느냐는 질문에는 답이 없습니다. 앞의 숫자는 매일 여는 습관이 생겼는지를 묻고, 뒤의 숫자는 제품을 아직 버리지 않았는지를 묻습니다.

같은 시기에 들어온 집단을 분모로 두고, 그중 가입 N일째 이후에 활동 기록이 한 건이라도 있는 사람을 분자로 두어 나눕니다. 네 가지를 먼저 정해야 숫자가 나옵니다.

1. 분모가 될 집단을 정합니다. 같은 시기에 들어온 사람들을 한 덩어리로 묶고, 이 덩어리를 코호트라고 부릅니다. 9월 첫 주에 가입한 500명 같은 식입니다. 신규와 기존을 섞으면 숫자가 무엇을 뜻하는지 설명할 수 없게 됩니다.
2. 돌아왔다는 것이 무엇인지 정합니다. 로그인만 해도 되는지, 문서를 열어야 하는지, 고치기까지 해야 하는지에 따라 숫자가 두 배로 벌어집니다. 페이지덱은 문서를 열거나 고친 것을 기준으로 삼습니다.
3. N을 정합니다. 제품을 원래 얼마나 자주 쓰는지에 맞춥니다. 일하는 날마다 여는 제품이면 7일이나 14일을, 몇 달에 한 번 쓰는 제품이면 90일을 씁니다.
4. 관찰이 끝나는 날을 정합니다. 이 방식에만 있는 단계입니다. N일 이후 언제든 들어오면 세기 때문에, 어디까지 보고 멈출지 정하지 않으면 값이 계속 올라갑니다.

9월 첫 주에 가입한 500명 중 8일째부터 관찰 종료일까지 문서를 한 번이라도 열거나 고친 사람이 210명이면 42퍼센트입니다. 구현할 때는 마지막 활동일만 보면 됩니다. 마지막으로 들어온 날이 가입일에서 N일을 넘긴 사람이 곧 분자입니다.

같은 코호트를 두 방식으로 재면 롤링이 언제나 더 높습니다. N일째에 들어온 사람은 N일 이후 한 번이라도 들어온 사람에 전부 포함되기 때문입니다. 그래서 두 숫자를 나란히 놓고 좋아졌다 나빠졌다를 말하면 안 됩니다.

절대값을 남의 제품과 비교하는 것은 거의 쓸모가 없습니다. 하루에 몇 번씩 여는 메신저와 1년에 한 번 쓰는 세금 신고 서비스가 같은 기준에 놓일 수 없습니다. 대신 보는 것은 N을 늘려 가며 이어 그린 곡선의 모양입니다.

같은 코호트를 7일·14일·30일·60일·90일로 이어 그렸을 때 60·45·33·31·30처럼 떨어지다가 멈추면, 그 30퍼센트가 계속 쓸 이유를 찾은 사람들의 몫입니다. 45·28·14·6·2처럼 바닥까지 내려가면 붙들 이유를 아무도 못 찾았다는 뜻이고, 그때는 유입을 늘려도 같은 속도로 빠져나갑니다.

함정이 하나 더 있습니다. 관찰 기간이 길어질수록 같은 코호트의 값이 저절로 올라갑니다. 9월 코호트를 10월에 재면 42퍼센트고 12월에 다시 재면 47퍼센트가 됩니다. 사람이 더 돌아온 것이 아니라 셀 날이 늘어난 것뿐입니다. 그래서 코호트끼리 견줄 때는 관찰 창의 길이를 똑같이 맞춥니다. 6월 코호트도 90일, 9월 코호트도 90일로 끊습니다.

새 기능을 열고 며칠간 숫자가 튀는 것도 조심합니다. 새로워서 잠깐 좋아 보이는 착시를 신기 효과라고 하는데, 2주가 지나면 원래 자리로 돌아오는 일이 많습니다. 그래서 나아졌는지는 여러 코호트의 같은 구간을 견줘 판단합니다. 같은 시기에 들어온 집단끼리 묶어 비교하는 방법을 코호트 분석이라고 부릅니다.

"7일 리텐션은 12퍼센트인데 롤링으로 보면 42퍼센트예요. 둘 다 맞습니다."

같은 집단을 다른 방식으로 센 값이니 어느 쪽도 틀리지 않았다는 설명입니다.

"지난 분기 롤링 리텐션이랑 비교하려면 관찰 기간을 90일로 똑같이 끊어 주세요."

관찰 창 길이가 다르면 비교가 성립하지 않는다는 요청입니다.

"롤링이 높다고 잘 쓰고 있는 건 아니에요. 90일에 한 번 들어온 사람도 세니까요."

한 번의 방문과 꾸준한 사용을 구분하자는 지적입니다.

페이지덱은 두 숫자를 한 표에 함께 둡니다. 7일 리텐션은 습관이 생겼는지를 보는 칸이고, 30일 롤링 리텐션은 아직 떠나지 않은 비율을 보는 칸입니다. 지현이 월간 회의에서 두 칸을 같이 읽습니다.

지난 분기에 앞 칸은 12에서 14퍼센트로 움직였는데 뒤 칸은 42에서 41퍼센트로 제자리였습니다. 첫 주에는 더 자주 열게 됐지만 남는 비율은 그대로라는 뜻이어서, 팀은 다음 분기를 첫 주 안내가 아니라 한 달 뒤에 다시 열 이유를 찾는 쪽으로 잡았습니다.

숫자가 더 높게 나오니 더 좋은 지표라고 보는 경우가 가장 많습니다. 같은 제품이 더 나아 보이니 그렇게 느껴집니다. 하지만 높은 이유는 제품이 좋아서가 아니라 세는 조건이 느슨해서입니다. 이 오해를 그대로 두면 팀은 보고할 때마다 더 후하게 나오는 방식을 골라 쓰고, 분기마다 계산이 바뀐 표에서는 나아졌는지가 사라집니다. 한 번 고른 방식은 그대로 유지합니다.

한 번이라도 돌아왔으면 남은 사용자라고 읽는 것도 흔합니다. 정의가 그렇게 되어 있으니 자연스럽습니다. 그런데 90일 동안 한 번 들어온 사람과 매주 세 번 들어오는 사람이 같은 1로 세어집니다. 이 값만 보고 건강하다고 판단하면, 아무도 쓰지 않는데 계정만 남은 상태를 잔존으로 읽게 됩니다. 그래서 이 숫자는 쓰는 빈도와 함께 읽습니다.