사용량 지표

제품이 잘되고 있느냐는 질문에 한동안 답은 가입자 수 하나였습니다. 세기 쉽고, 한번 오르면 내려가지 않고, 보고 자료에 넣으면 그림이 예쁘게 나옵니다. 문제는 이 값이 계정을 만든 사람의 총합이라는 데 있습니다. 2년 전에 한 번 가입하고 다시 들어오지 않은 사람도 여기 그대로 남아 있습니다. 가입자 12만 명인 제품과 12만 명이 매일 들어오는 제품은 전혀 다른 물건인데, 화면에는 같은 숫자가 뜹니다.

빈칸은 대개 돈 이야기가 나올 때 드러납니다. 페이지덱이 서버 증설 비용을 잡던 회의에서 태오가 12만 명을 기준으로 준비하면 되느냐고 물었고, 그 자리에서 답한 사람이 없었습니다. 기록을 세어 보니 지난 30일 안에 문서를 한 번이라도 연 계정은 8400개였고, 그 가운데 매일 들어오는 계정은 900개였습니다. 준비해야 할 규모는 12만이 아니라 900과 8400 사이 어딘가였습니다. 같은 회의에서 하나가 더 걸렸습니다. 8400개 중 절반은 문서를 읽기만 하고 나갔는데 서버에 부담을 주는 쪽은 함께 편집하는 사람들이었고, 사람 수만으로는 이 둘이 갈라지지 않았습니다.

사용량 지표는 이 빈칸을 메우려고 묶어 놓은 숫자들입니다. 재는 대상을 누적에서 기간으로, 사람에서 행동으로 한 칸씩 옮겨 놓았습니다. 누적 가입자 대신 최근 하루나 한 주, 한 달 동안 들어온 사람을 세고, 들어온 사람의 수 대신 그 사람이 안에서 무엇을 몇 번 했는지를 셉니다. 그러면 숫자가 내려갈 수 있게 됩니다. 내려갈 수 있는 값이어야 제품이 나빠졌을 때 화면에서도 나빠진 것으로 보입니다. 페이지덱은 그 회의 뒤로 보고 화면의 맨 윗줄을 누적 가입자에서 주간 활성 사용자로 바꿨습니다. 자리를 차지하던 숫자가 12만에서 3200으로 줄었지만, 줄어든 뒤에야 이번 주에 무엇을 해야 하는지가 그 한 줄에서 읽히기 시작했습니다.

제품 축에서 이 묶음은 제품 지표 갈래 안에 놓입니다. 같은 갈래의 나머지 셋과는 재는 시점이 다릅니다. 가입한 사람이 제품의 쓸모를 처음 체감하는 지점은 활성화가 맡고, 그 뒤로 계속 돌아오는 정도는 리텐션이 맡고, 숫자로 잡히지 않는 느낌은 설문으로 직접 묻는 만족도 지표가 맡습니다. 사용량 지표는 그 사이에서 지금 이 제품이 얼마나 돌아가고 있는지를 잽니다. 리텐션이 돌아오느냐를 묻는다면 사용량 지표는 돌아와서 무엇을 하느냐를 묻습니다.

이 아래에는 용어 일곱 개가 있고, 무엇을 세는지에 따라 두 갈래로 나뉩니다. 사람을 세는 갈래와 그 사람이 한 행동을 세는 갈래입니다. 앞쪽은 규모를 보고 뒤쪽은 깊이를 봅니다. 하나만 보면 판단이 어긋납니다. 사람은 늘었는데 아무도 깊이 쓰지 않는 상태와 사람은 그대로인데 쓰는 깊이가 늘어난 상태가 화면에서 구분되지 않기 때문입니다.

활성 사용자는 기간을 정해 놓고 그 안에 들어온 사람을 세는 갈래입니다. 넷이 기간과 비율로 갈립니다.

1. 일간 활성 사용자 — 하루 동안 제품을 쓴 사람의 수입니다. 기간이 짧아 변화가 빨리 보이지만 요일을 심하게 탑니다. 업무용 제품은 토요일에 평일의 3분의 1로 떨어지는 일이 흔해서, 하루치만 놓고 올랐다 내렸다를 말하면 대개 요일을 읽은 것입니다.
2. 주간 활성 사용자 — 한 주 동안 제품을 쓴 사람의 수입니다. 요일 효과가 한 주 안에서 상쇄되어 흐름을 읽기에 가장 무난합니다. 페이지덱이 회의 화면에 늘 띄워 두는 값도 이것입니다.
3. 월간 활성 사용자 — 한 달 동안 제품을 쓴 사람의 수입니다. 규모를 말할 때 밖으로 나가는 숫자이고, 한 달에 한 번만 들어와도 포함되기 때문에 안쪽 판단에는 무딥니다.
4. 스티키니스 — 한 달에 들어온 사람 가운데 매일 들어오는 사람이 얼마나 되는지를 본 비율입니다. 일간 활성 사용자를 월간 활성 사용자로 나눠 구합니다. 900을 8400으로 나누면 11퍼센트이고, 한 달에 쓰는 사람 아홉 중 한 명만 매일 온다는 뜻입니다. 앞의 셋이 크기를 말한다면 이 값은 밀착도를 말합니다.

세 기간을 굳이 함께 두는 이유는 각자 답하는 질문이 다르기 때문입니다. 하루치는 어제 무슨 일이 있었는지, 한 주치는 이번 달 흐름이 어느 쪽으로 기울고 있는지, 한 달치는 지금 이 제품이 어느 정도 크기인지에 답합니다. 하나만 남기면 나머지 두 질문에 답할 길이 없어집니다. 셋을 나란히 놓으면 사이의 관계에서 한 가지가 더 읽힙니다. 주간 활성 사용자가 월간 활성 사용자의 절반을 넘는 제품은 한 달에 한 번만 들르는 사람이 거의 없다는 뜻이고, 4분의 1에 못 미치면 대부분이 어쩌다 한 번 들르는 사람이라는 뜻입니다.

행동은 들어온 사람이 안에서 무엇을 했는지를 세는 갈래입니다. 셋이 묶는 단위로 갈립니다.

1. 세션 — 한 번 들어와 나갈 때까지를 하나로 묶은 단위입니다. 보통 30분 동안 아무 동작이 없으면 끊긴 것으로 봅니다. 사람당 몇 번 들어오는지, 한 번 들어와 얼마나 머무는지를 여기서 읽습니다.
2. 기능 채택률 — 특정 기능을 한 번이라도 써 본 사람의 비율입니다. 댓글 기능을 낸 지 한 달이 지났는데 주간 활성 사용자의 4퍼센트만 써 봤다면, 기능이 나쁜 것인지 있는 줄 모르는 것인지를 그다음에 가릅니다. 분모를 무엇으로 둘지도 미리 정해야 합니다. 전체 가입자를 분모로 두면 값이 늘 낮게 나오고, 그 기능이 놓인 화면까지 들어온 사람을 분모로 두면 기능 자체의 문제인지 거기까지 가는 길의 문제인지가 갈립니다.
3. 파워 유저 — 평균보다 훨씬 깊고 자주 쓰는 사람입니다. 선을 어디에 그을지는 제품마다 다르게 정합니다. 페이지덱은 주 5일 이상 들어와 문서 3개 이상을 함께 편집하는 계정을 이 집단으로 봅니다.

일곱 개 모두 이름만으로는 값이 정해지지 않습니다. 활성 사용자 하나를 세는 데도 미리 적어 둬야 할 것이 넷입니다.

1. 무엇을 한 사람을 셀지 — 로그인만 하고 나간 사람을 넣느냐 빼느냐로 값이 20퍼센트씩 벌어집니다. 페이지덱은 문서를 한 번이라도 연 계정만 셉니다.
2. 기간을 어디서 끊을지 — 1일부터 말일까지로 끊는 방식과 오늘부터 거꾸로 30일을 세는 방식은 다른 값을 냅니다. 달력으로 끊으면 월초마다 값이 뚝 떨어져 보입니다.
3. 같은 사람을 몇으로 셀지 — 계정 기준과 기기 기준이 다르고, 한 사람이 회사 계정과 개인 계정을 따로 쓰면 둘로 잡힙니다.
4. 누구를 뺄지 — 사내 직원 계정과 자동으로 도는 계정을 빼지 않으면 구성원이 45명인 회사에서 일간 활성 사용자가 그만큼 부풀어 있습니다.

좋은 수준은 밖에서 가져오지 않습니다. 업계 평균 밀착도가 20퍼센트라는 자료를 보고 우리 11퍼센트가 나쁘다고 판정하는 것이 가장 흔한 실수입니다. 매일 열 이유가 있는 제품과 한 달에 한 번 열 이유밖에 없는 제품은 애초에 다른 구간에서 놉니다. 메신저는 50퍼센트를 넘기도 하고 급여 정산 도구는 5퍼센트여도 정상입니다. 기준은 셋으로 세웁니다. 우리 제품의 지난 분기 값, 어딘가를 고치기 전과 후의 값, 그리고 이 숫자가 얼마여야 다음 분기 계획이 서는지를 거꾸로 계산한 값입니다.

한 값이 오를 때 다른 값이 어떻게 움직였는지도 함께 봅니다. 일간 활성 사용자가 900에서 1100으로 올랐는데 월간 활성 사용자가 8400에서 1만 2000으로 더 크게 올랐다면 밀착도는 오히려 떨어진 것입니다. 광고로 사람을 많이 데려왔지만 그 사람들이 한 번 보고 나갔다는 뜻입니다. 사용량 지표를 한 화면에 함께 놓는 이유가 여기 있습니다. 한 숫자만 떼어 놓으면 어느 방향으로 움직이든 좋아 보이게 설명할 수 있습니다.

"이번 주 일간 활성 사용자가 12퍼센트 빠졌는데, 지난주에 연휴가 껴 있었습니다."

값이 내려간 것이 제품 문제가 아니라 달력 문제라는 설명입니다.

"월간 활성 사용자로 보고하면 좋아 보이는데, 그 안에서 매일 오는 사람은 11퍼센트예요."

규모는 커졌지만 밀착도는 그대로라 축하할 자리가 아니라는 지적입니다.

"그 기능 채택률이 4퍼센트인데, 한 번 써 본 사람은 계속 씁니다. 발견이 안 되는 쪽 같아요."

기능 자체보다 기능으로 가는 길이 문제라는 뜻입니다.

페이지덱에서는 매주 월요일 아침에 이 숫자들을 함께 봅니다. 지현이 주간 활성 사용자와 밀착도 두 값을 먼저 띄우고, 지난주와 견줘 3퍼센트 넘게 움직인 것만 이유를 찾습니다. 지난달에는 주간 활성 사용자가 4주 내리 올랐는데 밀착도는 12퍼센트에서 9퍼센트로 내려가 있었습니다. 현우가 그 기간에 예산을 늘린 광고 채널을 되짚어 보니, 새로 들어온 팀은 문서를 하나 만들고 다시 오지 않는 비율이 기존 팀의 세 배였습니다.

태오는 다른 이유로 같은 화면을 봅니다. 서버를 언제 늘릴지가 사람 수가 아니라 행동 수에 걸려 있기 때문입니다. 지금은 주간 활성 사용자가 아니라 한 주 동안 동시 편집이 가장 몰린 시각의 세션 수를 기준으로 용량을 잡습니다. 같은 화면을 보면서도 지현은 사람 수를 먼저 읽고 태오는 행동 수를 먼저 읽는 셈입니다.

가장 흔한 오해는 사용량이 많을수록 좋은 제품이라고 읽는 것입니다. 값이 크면 잘 쓰이는 것처럼 보이니 자연스러운 오해입니다. 그런데 사용량에는 제품이 주는 값어치와 쓰는 데 드는 수고가 함께 담깁니다. 문서 하나를 찾는 데 화면을 여섯 번 옮겨야 하는 제품은 세션당 화면 이동 수가 높게 나오고, 그 값은 불편을 고치면 내려갑니다. 머문 시간도 같습니다. 볼거리를 파는 제품에서는 길수록 좋지만 업무 도구에서는 3분 걸리던 일이 40초로 줄어든 것이 성과입니다. 어떤 값이 올라야 좋은지는 제품이 사용자에게 무엇을 약속했는지에 따라 갈립니다. 방향을 정해 두지 않고 숫자만 올리면 쓰기 불편해진 제품이 지표에서는 좋아진 것으로 보입니다.

두 번째는 월간 활성 사용자를 사업 규모로 읽는 것입니다. 밖에 내보내는 숫자다 보니 이 값이 크면 회사도 큰 것처럼 보입니다. 하지만 한 달에 한 번 들어온 사람과 매일 들어오는 사람이 이 숫자 안에서는 똑같이 1입니다. 무료로 혼자 쓰는 계정과 40명이 함께 쓰는 유료 팀의 계정도 같은 무게로 세어집니다. 월간 활성 사용자 8400을 근거로 영업 목표를 잡았다가 그중 돈을 낼 만한 팀 단위 계정이 600개뿐이라는 것을 뒤늦게 아는 일이 여기서 생깁니다. 사용량 지표는 제품이 쓰이는 양을 재는 자이고 돈이 들어오는 양을 재는 자는 따로 있습니다. 두 숫자를 이으려면 쓰는 사람이 돈 내는 사람으로 어떻게 넘어가는지를 별도로 재야 합니다. 무료로 쓰던 팀이 어느 시점에 결제로 넘어가는지를 따로 세어 두면 두 숫자가 그제야 이어집니다.