타임 투 밸류

한동안 제품 팀이 들고 있던 숫자는 가입자 수였습니다. 가입이 늘면 잘 되는 것으로 읽었는데, 한 달 뒤에 남아 있는 사람은 늘어난 만큼 늘지 않았습니다. 그래서 가입자 중 몇 퍼센트가 제품을 실제로 써 봤는지를 따로 세기 시작했고, 그것이 활성화율입니다.

비율은 앞보다 나았지만 회의는 여전히 막혔습니다. 한쪽이 "이번 달 활성화율 40퍼센트입니다" 하고 보고하면 다른 쪽이 "지난달도 40퍼센트였는데 뭐가 달라진 겁니까" 하고 물었고, 거기서 대화가 끊겼습니다. 비율만 보면 같은 40퍼센트인데, 그 안에는 가입 30분 만에 제품을 써 본 사람과 아흐레를 헤매다 겨우 써 본 사람이 같은 무게로 섞여 있었습니다. 두 상태는 전혀 다릅니다. 앞쪽은 손댈 곳이 없고 뒤쪽은 그 아흐레 사이에 대부분 떠납니다.

그래서 비율 옆에 시간을 붙였습니다. 몇 명이 도달했는지가 아니라 거기까지 얼마나 걸렸는지를 재면 같은 비율 안의 차이가 드러납니다. 시간은 다루기도 쉽습니다. 40퍼센트를 45퍼센트로 올리라는 지시는 어디를 손댈지 알려 주지 않지만, 중앙값 아흐레를 이틀로 줄이라는 지시는 그 아흐레 동안 사용자가 무엇을 했는지 보게 만듭니다.

한 사용자의 가입 시각과 제품의 쓸모를 처음 체감한 시각의 차이를 구하고, 그 값들을 모아 중앙값을 냅니다. 네 단계입니다.

1. 끝점을 행동 하나로 특정합니다. 사용자가 제품의 값어치를 깨닫는 순간을 어하 모먼트라 하는데, 느낌이 아니라 기록에 남는 행동으로 적어야 잴 수 있습니다. 협업 문서 툴이라면 "동료 한 명 이상과 같은 문서를 같은 시간에 고친 순간" 같은 문장입니다.
2. 시작점을 정합니다. 개인이 직접 가입하는 제품은 가입 완료 시각, 기업과 계약해 들어가는 제품은 계약일이나 계정을 열어 준 날입니다. 두 시작점을 섞으면 숫자가 뜻을 잃습니다.
3. 사용자마다 두 시각의 차이를 구합니다. 가치를 보기 전에 반드시 끝내야 하는 셋업 모먼트 구간을 따로 떼어 적어 두면, 긴 시간이 설정 때문인지 그 뒤 때문인지 가려낼 수 있습니다.
4. 평균이 아니라 중앙값을 씁니다. 3일·4일·5일·6일·60일인 다섯 사람의 평균은 15.6일이지만 중앙값은 5일입니다. 늦게 도달한 소수가 평균을 끌어올려 다수의 경험과 동떨어진 값이 나옵니다.

관찰 창 안에 끝점을 지나지 못한 사람을 어떻게 다루는지가 가장 자주 틀리는 자리입니다. 30일 안에 도달하지 못한 사용자를 분포에서 빼면 중앙값은 예쁘게 나옵니다. 가장 오래 헤맨 사람을 지운 값이기 때문입니다. 빼지 않고 "30일 내 미도달 38퍼센트" 처럼 따로 적습니다. 도달한 사람의 중앙값이 이틀인데 미도달이 38퍼센트라면, 고칠 곳은 이틀 쪽이 아니라 그 38퍼센트입니다.

절대적으로 좋은 값은 없고, 제품이 해결하는 일의 주기가 기준을 정합니다. 매일 여는 도구는 첫 접속 안에 끝나야 하니 분 단위로 이야기합니다. 분기마다 한 번 쓰는 보고 도구는 며칠이 걸려도 문제가 아닙니다. 같은 나흘이 협업 문서 툴에서는 사고이고 세무 도구에서는 정상입니다.

그래서 판단은 절대값보다 두 가지로 합니다. 하나는 추이입니다. 지난 분기 중앙값이 나흘이고 이번 분기가 이틀이면 그 사이에 한 일이 맞았다는 뜻입니다. 다른 하나는 분포 모양입니다. 봉우리가 둘이면 성격이 다른 사용자가 한 숫자에 섞였다는 신호입니다. 초대를 받아 들어온 사람은 20분, 혼자 검색해 들어온 사람은 아흐레인 상태가 중앙값 하나로 뭉개진 식입니다. 손댈 대상은 뒤쪽 집단뿐입니다.

넘지 말아야 할 선은 있습니다. 체험 기간이 14일인데 중앙값이 아흐레라면 사용자는 체험의 3분의 2를 설정에 쓰고 남은 닷새로 결제를 결정합니다. 첫 요금이 청구되는 날보다 늦게 가치를 보는 제품은 값을 받기 전에 사람을 잃습니다. 이 선을 넘으면 새 사용자가 자리 잡도록 돕는 온보딩보다 체험 기간 설계를 먼저 봅니다.

"중앙값이 아흐레인데 체험이 14일이에요. 설정에 체험을 다 쓰는 셈입니다."

이 값이 요금제 설계와 어긋나 있으니 둘 중 하나를 고쳐야 한다는 말입니다.

"숫자는 줄었는데 끝점 정의를 지난달에 바꿨어요. 비교가 안 됩니다."

끝점을 옮기면 이전 값과 이어 볼 수 없다는 지적입니다.

"혼자 가입한 사람만 떼어 보면 여섯 배예요."

전체 중앙값이 두 집단을 섞어 놓아 진짜 문제를 가리고 있다는 뜻입니다.

페이지덱은 끝점을 "동료 한 명과 같은 문서를 함께 고친 순간" 으로 잡아 두고 있습니다. 지현이 분기마다 분포를 그리는데, 지난 분기 그림에는 봉우리가 둘 있었습니다. 초대 링크로 들어온 사용자는 대부분 첫날에 끝점을 지났고, 검색으로 혼자 들어온 사용자는 중앙값이 아흐레였습니다.

민서가 뒤쪽 집단의 첫 화면을 다시 보고 원인을 찾았습니다. 혼자 들어온 사람은 함께 고칠 상대가 없어서, 끝점에 닿으려면 동료를 초대해 수락을 기다려야 했습니다. 안내 문구로 줄일 시간이 아니었습니다.

숫자를 줄이는 것 자체를 목표로 삼는 경우가 가장 많습니다. 짧을수록 좋다는 방향이 분명해 보이니 그렇게 읽힙니다. 문제는 이 값이 끝점을 어디에 두느냐에 따라 얼마든지 움직인다는 데 있습니다. 끝점을 "문서 하나 만들기" 처럼 앞쪽으로 당기면 중앙값은 아흐레에서 12분으로 떨어지는데, 제품에서 달라진 것은 없습니다. 목표로 걸린 팀은 대개 이 방향으로 움직입니다. 다음 분기 보고서에 12분이 적히고, 리텐션은 아흐레였던 시절과 같습니다. 끝점은 한 번 정하면 분기 중에 옮기지 않습니다.

온보딩 화면의 문제로만 보는 시각도 자주 나옵니다. 사용자가 헤매는 구간이니 안내를 고치면 될 것처럼 보입니다. 하지만 가치가 나오는 구조 자체가 시간을 잡아먹는 제품이 있습니다. 동료가 들어와야 값을 하는 제품에서 혼자 가입한 사용자의 시간은 안내 문구를 백 번 고쳐도 줄지 않습니다. 이럴 때 손댈 곳은 화면이 아니라 혼자서도 쓸모를 볼 수 있는 길을 내는 쪽이고, 그 길이 없다면 혼자 가입하는 사람을 애초에 데려오지 않는 쪽입니다. 화면만 붙들고 한 분기를 쓰면 숫자는 그대로인데 고칠 여지는 다 써 버립니다.