리텐션 곡선

돌아오는 정도를 숫자 하나로만 보던 시절에는 그 값이 좋은지 나쁜지 판정할 길이 없었습니다. 4주 차에 24퍼센트가 남았다는 보고를 받아도 이 숫자가 계속 내려가는 중인지 그 선에서 멈춘 것인지 알 수 없습니다. 같은 24퍼센트가 다음 달에 6퍼센트가 될 수도 있고 다섯 달 뒤에도 23퍼센트일 수도 있는데, 두 상태는 회사의 앞날이 전혀 다릅니다.

그래서 가입자 그래프만 보는 회사들이 같은 함정에 반복해서 빠졌습니다. 누적 가입자 선은 계속 우상향하고 매달 신규도 늘어나니 잘되고 있는 것처럼 보입니다. 그런데 반년쯤 지나면 총 사용자 수가 어느 선에서 멈추고, 광고를 줄이는 순간 그 선이 그대로 내려앉습니다. 들어오는 사람 수만큼 나가고 있었다는 사실이 광고비를 다 쓴 뒤에 드러납니다.

한 집단을 시간축에 놓고 이어 그리면 이 상태가 그림 하나로 보입니다. 리텐션 곡선이 하는 일은 남는 사람이 있느냐는 질문에 그림으로 답하는 것입니다.

같은 시기에 가입한 사람들을 한 묶음으로 잡고, 주가 지날 때마다 그 묶음에서 몇 퍼센트가 남았는지를 계산해 점으로 찍은 다음 점을 잇습니다. 점 하나를 찍으려면 네 가지를 먼저 정해야 합니다.

1. 분모가 될 집단을 정합니다. 같은 시기에 들어온 사람들을 한 덩어리로 묶고 이 덩어리를 코호트라고 부릅니다. 9월 첫 주에 가입한 500명 같은 식입니다. 신규와 기존을 섞어 세면 숫자가 무엇을 뜻하는지 설명할 수 없게 됩니다.
2. 남았다는 것이 무엇인지 정합니다. 로그인만 해도 남은 것으로 볼지, 핵심 행동까지 해야 하는지에 따라 같은 제품에서도 값이 두 배로 벌어집니다. 페이지덱은 문서를 열거나 고친 것을 기준으로 삼습니다.
3. 재는 간격을 정합니다. 제품을 원래 얼마나 자주 쓰는 물건인지에 맞춥니다. 일하는 날마다 여는 협업 문서 툴은 주 단위로 보고, 1년에 한두 번 쓰는 서비스를 일 단위로 보면 거의 모든 칸이 0으로 나옵니다.
4. 나눕니다. 500명 중 1주 차에 225명이 남았으면 45퍼센트입니다.

같은 코호트로 이 계산을 주차마다 반복해 점을 잇습니다. 100명으로 시작해 1주 차 45명, 2주 차 30명, 4주 차 24명, 8주 차 23명, 12주 차 23명이면 가파르게 떨어지다 완만해지는 모양이 나옵니다.

그리는 요령이 둘 있습니다. 0주 차는 정의상 늘 100퍼센트라서 모양을 읽는 데 도움이 되지 않으니 눈금을 1주 차부터 잡습니다. 그리고 코호트 하나만 그리면 그 집단에 우연히 섞인 사정을 걸러낼 수 없어서, 가입 시기별로 여러 줄을 나란히 그립니다. 그렇게 여러 코호트를 견주는 방식을 따로 코호트 리텐션이라고 부릅니다.

절대값을 남과 견주는 일은 거의 쓸모가 없습니다. 하루에도 몇 번 여는 메신저와 1년에 한 번 쓰는 세금 신고 서비스가 같은 기준으로 비교될 수 없습니다.

보는 것은 모양입니다. 곡선이 어느 높이에서 더 내려가지 않고 옆으로 눕는 것을 리텐션 곡선 평탄화라고 하고, 여기가 진짜 신호입니다. 24퍼센트에서 평평해졌다면 들어온 사람의 4분의 1이 이 제품에 자리를 잡았다는 뜻이고, 앞으로 데려오는 사람에게도 같은 비율이 적용된다는 계산이 섭니다. 매달 1000명이 들어오고 그중 240명이 계속 남으면 사용자는 매달 그만큼 쌓입니다.

반대로 45·28·14·6·2처럼 바닥까지 내려가는 곡선은 붙잡히는 사람이 없다는 뜻입니다. 이 상태에서는 유입을 아무리 늘려도 총 사용자 수가 어느 선에서 멈춥니다. 매달 1000명을 데려와도 다음 달에 1000명이 나가면 쌓이는 것이 없습니다. 이때 할 일은 광고를 늘리는 쪽이 아닙니다.

견주는 대상은 우리 자신입니다. 6월 가입자와 9월 가입자의 4주 차 값을 붙여 보면 그사이에 제품이 나아졌는지가 보입니다. 다만 새 기능을 연 직후 며칠간 숫자가 튀어 오르는 것은 주의합니다. 새로워서 잠깐 좋아 보이는 착시를 신기 효과라고 하는데 2주면 원래 자리로 돌아오는 경우가 많습니다. 그래서 개선 여부는 한 코호트의 등락이 아니라 여러 코호트의 같은 주차를 견줘 판단합니다.

"곡선이 아직 눕지 않았어요. 이 상태에서 광고를 늘리면 예산만 나갑니다."

들어오는 사람이 붙잡히지 않는 상태여서 유입을 늘릴 때가 아니라는 판단입니다.

"6월 코호트는 4주 차가 18퍼센트였는데 9월 코호트는 24퍼센트입니다."

그사이에 손본 것이 실제로 효과가 있었다는 보고입니다.

"그 그래프 0주 차부터 그리셨네요. 1주 차부터 다시 뽑아 주세요."

늘 100퍼센트인 칸이 앞에 붙어 있어 모양이 눌려 보인다는 지적입니다.

페이지덱에서는 지현이 주마다 이 그래프를 다시 뽑습니다. 가입 주별로 줄을 나눠 놓고 4주 차 칸만 세로로 읽는데, 그 칸이 석 달 동안 18·19·24퍼센트로 올라가면 온보딩을 손본 것이 통했다고 봅니다. 규원이 투자자 자료를 만들 때 가져가는 그림도 누적 가입자 선이 아니라 이 곡선입니다.

곡선이 높으면 좋은 제품이라고 읽는 경우가 가장 많습니다. 그래프에서 위에 있는 선이 나아 보이는 것은 자연스럽습니다. 하지만 높이는 제품을 원래 얼마나 자주 쓰는 물건인지에 크게 좌우됩니다. 매일 여는 도구는 4주 차가 40퍼센트여도 흔하고, 분기에 한 번 쓰는 도구는 8퍼센트에서 눕는 것이 정상입니다. 높이로 줄을 세우면 사용 빈도가 낮은 제품은 언제나 실패로 판정되고, 정작 그 제품이 눕는 높이를 지키고 있는지는 아무도 보지 않게 됩니다.

곡선이 눕기만 하면 시장과 맞물린 것으로 읽는 것도 흔합니다. 평탄화가 신호라는 말을 절대 기준으로 받아들이기 쉽기 때문입니다. 그런데 2퍼센트에서 눕는 곡선도 누운 곡선입니다. 들어온 사람의 50분의 1만 남는 상태에서는 매달 1000명을 데려와도 20명씩 쌓이고, 그 속도로는 회사가 굴러가지 않습니다. 곡선은 어디서 눕는지와 그 높이가 사업을 지탱하는지를 함께 봅니다. 사용자에게 직접 묻는 션 엘리스 테스트 같은 수단을 나란히 두는 이유도 같습니다.