매직 넘버

새로 가입한 사람에게 무엇을 먼저 시킬지는 오래도록 취향으로 정해졌습니다. 어떤 팀은 프로필 사진부터 올리게 했고, 어떤 팀은 기능 소개 화면 다섯 장을 넘기게 했습니다. 근거를 물으면 "이게 자연스럽잖아요" 라는 답이 돌아왔고, 그 자연스러움은 대개 만든 사람의 감각이었습니다.

페이지덱의 첫 온보딩 회의도 그랬습니다. 민서는 첫 화면에서 템플릿을 고르게 하자고 했고, 태오는 팀원을 먼저 초대하게 하자고 했습니다. 둘 다 그럴듯했지만 어느 쪽이 나중에 리텐션을 더 올리는지, 즉 쓰던 사람이 계속 돌아오게 만드는지는 아무도 몰랐습니다. 의견이 갈리면 목소리가 큰 쪽이나 직급이 높은 쪽으로 정해졌습니다.

매직 넘버는 이 자리를 기록으로 대신하게 만든 작업입니다. 이미 쓰고 있는 사용자들이 남긴 행동 기록을 열어, 오래 남은 사람과 금방 떠난 사람이 초반에 무엇을 얼마나 다르게 했는지를 비교합니다. 두 무리를 가른 행동과 그 횟수가 나오면 온보딩에서 무엇을 시킬지가 한 줄로 좁혀집니다.

찾는 순서는 네 단계입니다.

1. 후보 행동을 고릅니다. 제품의 값어치와 직접 붙어 있는 행동이어야 합니다. 페이지덱이라면 문서 만들기, 팀원 초대, 댓글 달기 정도입니다. 로그인 횟수나 화면 체류 시간처럼 값어치와 먼 지표는 후보에서 뺍니다. 그 값이 높다고 사용자가 얻은 것이 늘어나지는 않기 때문입니다.
2. 기간을 정합니다. 가입 후 첫 7일이나 첫 14일을 흔히 씁니다. 이 창을 너무 길게 잡으면 이미 남기로 마음먹은 사람의 행동이 섞여 들어와 기준점이 부풀려집니다.
3. 횟수별로 나눠 남은 비율을 비교합니다. 코호트 분석을 씁니다. 같은 시기에 가입한 사람들을 한 덩어리로 묶어 비교하는 방법인데, 이렇게 묶지 않으면 지난달 대규모 광고로 들어온 사람들과 재작년 입소문으로 온 사람들이 한 표에 섞여 값이 흔들립니다.
4. 비율이 크게 꺾이는 지점을 읽습니다. 첫 주에 문서를 0개 만든 사람이 두 달 뒤 5퍼센트, 1개가 12퍼센트, 2개가 18퍼센트, 3개가 60퍼센트, 4개가 63퍼센트로 나왔다면 기준점은 3입니다. 2와 3 사이에서만 40퍼센트포인트가 벌어지고 그 뒤로는 거의 평평하기 때문입니다.

꺾이는 자리가 없으면 그 행동은 답이 아닙니다. 0개부터 5개까지 비율이 완만하게만 오른다면 다른 후보로 돌아가 1번부터 다시 합니다. 계단이 보이지 않는데 억지로 한 점을 고르면 그 뒤의 모든 결정이 없는 기준 위에 서게 됩니다.

이 계산이 가능하려면 행동이 기록으로 남아 있어야 합니다. 문서를 만들었다는 사실이 어디에도 적히지 않는 제품에서는 아무리 사용자가 많아도 이 값을 구할 수 없습니다. 지난 분기의 기록을 지금 와서 소급해 만들 방법은 없으므로 이벤트 수집은 분석보다 몇 달 앞서 준비합니다.

값을 찾고 나면 여러 팀의 일이 그 숫자 하나를 향해 정렬됩니다.

1. 온보딩 화면 — 첫 화면의 목표가 "제품을 둘러보게 한다" 에서 "첫 주에 문서 3개를 만들게 한다" 로 바뀝니다. 온보딩은 새 사용자가 자리 잡도록 돕는 과정인데, 목표가 숫자로 적히면 어떤 안내를 빼고 어떤 버튼을 앞으로 당길지가 논쟁 없이 갈립니다.
2. 안내 메일 — 가입 5일째에 문서가 1개뿐인 사용자에게만 메일을 보냅니다. 이미 3개를 넘긴 사람에게는 보내지 않습니다. 전체에게 같은 메일을 뿌리던 때보다 보내는 양이 줄고 반응은 오릅니다.
3. 개입 기준 — 기업 고객을 맡은 수아는 계약 후 2주가 지나도 팀 안에서 기준점을 넘긴 사람이 절반이 안 되면 먼저 연락합니다. 해지 통보를 받고 움직이는 것보다 몇 달 빠릅니다.
4. 지표 설계 — 북극성 지표 분해에서 기준점을 넘긴 신규 사용자 비율이 한 항으로 들어갑니다. 대표 지표를 움직이는 요소로 쪼갤 때 이 값이 손잡이 역할을 합니다.

"우리 매직 넘버가 첫 주 문서 3개예요. 온보딩은 여기 맞춰서 다시 짜죠."

기준점이 정해졌으니 초기 화면의 목표를 그것으로 통일하자는 말입니다.

"그거 매직 넘버 맞아요? 그냥 원래 잘 쓸 사람들이 많이 만든 거 아니고요?"

숫자가 원인인지 결과인지 아직 확인되지 않았다는 지적입니다.

"요금제 바뀌고 나서 기준점 다시 봤는데 3에서 5로 올라갔어요."

제품이 달라져 예전 값이 더는 맞지 않는다는 보고입니다.

페이지덱에서 이 값을 처음 찾은 사람은 현우였습니다. 광고비를 두 배로 써도 두 달 뒤 남는 사람 수가 거의 그대로인 것이 계기였습니다. 가입자를 첫 주 문서 생성 수로 갈라 보니 3개를 기준으로 리텐션이 18퍼센트와 60퍼센트로 벌어져 있었고, 광고로 데려온 사람들은 대부분 1개 이하에 몰려 있었습니다.

지현은 그 발표를 듣고 값을 그대로 쓰지 말자고 했습니다. 문서를 많이 만든 사람이 남은 것인지, 남을 사람이 원래 많이 만드는 것인지가 구분되지 않았기 때문입니다. 그래서 신규 가입자 절반에게만 첫 주 문서 만들기를 권하는 안내를 붙여 4주를 돌렸고, 그 집단의 두 달 리텐션이 실제로 높게 나온 뒤에야 온보딩 전체를 그 숫자에 맞춰 고쳤습니다.

기준점을 넘기게만 하면 사람이 남는다고 읽는 경우가 가장 많습니다. 두 무리의 차이가 워낙 크게 벌어져 보이니 원인처럼 느껴집니다. 하지만 이 숫자는 함께 움직인 두 가지를 보여 줄 뿐 무엇이 무엇을 낳았는지는 말해 주지 않습니다. 애초에 쓸 생각이 강했던 사람이 문서도 많이 만들고 오래 남았을 수 있습니다. 이 구분 없이 온보딩에서 문서 3개를 억지로 채우게 만들면, 의미 없는 빈 문서 세 개를 만든 사용자가 늘어날 뿐 두 달 뒤 남는 사람은 그대로입니다. 그래서 값을 찾은 다음에는 일부 집단에만 적용해 보고 결과를 확인하는 단계가 붙습니다.

한 번 찾으면 계속 쓰는 값으로 여기는 것도 자주 보는 오해입니다. 숫자 하나로 떨어지니 고정된 사실처럼 보입니다. 그러나 이 값은 제품과 유입 경로에 붙어 있습니다. 요금제가 바뀌거나 새 기능이 중심으로 올라오면 값어치를 느끼는 행동 자체가 달라지고, 다른 채널로 사람이 들어오기 시작하면 같은 행동의 의미도 달라집니다. 분기에 한 번씩 다시 구해 보고, 기준점이 움직였으면 그것에 맞춰 안내와 메일을 같이 고칩니다.