제품 지표

"요즘 제품 잘되고 있나요?" 라는 질문에는 원래 정답이 없었습니다. 영업은 이번 달 계약 건수를 보고 잘된다고 답하고, 개발팀은 장애 건수를 보고 그럭저럭이라고 답하고, 대표는 통장 잔고를 보고 걱정된다고 답합니다. 셋 다 거짓말을 한 것이 아닙니다. 각자 자기 눈에 보이는 숫자를 봤을 뿐인데, 세 숫자가 서로 어떻게 이어지는지를 아무도 정리해 두지 않은 것입니다.

정리가 없으면 회의는 목소리 싸움이 됩니다. 페이지덱 초기에도 그랬습니다. 누적 가입자 12만 명이라는 숫자가 화면에 떴고 모두 박수를 쳤는데, 그 자리에서 아무도 묻지 않은 것이 하나 있었습니다. 그중 이번 달에 실제로 들어온 사람이 몇이냐는 질문입니다. 나중에 세어 보니 1900명이었고, 그중 두 번째 주에 다시 들어온 사람은 400명이었습니다. 누적 가입자는 한번 오르면 내려가지 않는 숫자라서, 제품이 망가지고 있어도 계속 오릅니다. 좋아 보이는 숫자와 판단에 쓸 수 있는 숫자가 다르다는 것을 그때 알았습니다. 그 뒤로 화면에 올리는 숫자를 고를 때 한 가지를 먼저 확인하게 됐습니다. 이 값이 나빠지면 화면에서 나빠지는 것으로 보이느냐입니다.

제품 지표는 이 혼란을 줄이려고 미리 정해 두는 숫자 묶음입니다. 핵심은 숫자를 많이 모으는 데 있지 않고, 어떤 숫자를 어떤 결정에 쓸지 미리 짝지어 두는 데 있습니다. 가입 화면을 고칠지 말지는 가입 완료율로 판단하고, 이번 분기 개발 인력을 어디에 붙일지는 새로 들어온 사람이 넉 달 뒤에도 남아 있는 비율로 판단한다는 식입니다. 짝이 정해져 있으면 회의에서 꺼낼 숫자가 하나로 좁혀지고, 그 숫자가 움직이지 않았을 때 무엇이 잘못됐는지도 함께 좁혀집니다.

제품 축에서 이 용어는 내보낸 것이 잘 돌아가는지 숫자로 재는 갈래의 이름입니다. 이 갈래에는 얼마나 많이 쓰는지를 보는 사용량 지표, 가입한 사람이 제품의 쓸모를 처음 체감하는 지점인 활성화, 그 뒤로 계속 돌아오는 정도인 리텐션, 숫자로 잡히지 않는 느낌을 설문으로 직접 묻는 만족도 지표가 함께 놓입니다. 이 넷이 무엇을 재는지로 나눈 구분이라면, 제품 지표 아래에 놓인 다섯은 재는 대상이 아니라 쓰는 자리로 나눈 구분입니다.

이 아래에는 용어 다섯 개가 있고, 다섯 모두 지표의 성격에 붙은 이름입니다. 무엇을 재는지가 아니라 그 숫자를 어떤 자리에 쓰느냐로 갈립니다. 같은 숫자가 어떤 팀에서는 대표 지표이고 다른 팀에서는 허무 지표일 수 있다는 뜻입니다.

1. 북극성 지표 — 팀 전체가 한 방향을 보게 만드는 대표 지표 하나입니다. 제품이 사용자에게 값어치를 실제로 전달한 양에 가장 가까운 숫자를 고릅니다. 페이지덱은 주간 협업 문서 수, 다시 말해 한 주 동안 두 명 이상이 함께 편집한 문서의 개수를 쓰고 있습니다. 가입자 수가 아니라 이 숫자를 고른 이유는 제품을 쓰는 이유 자체가 여럿이 한 문서를 같이 고치는 데 있기 때문입니다.
2. 선행 지표 — 결과보다 먼저 움직여 앞날을 알려 주는 숫자입니다. 첫 주에 문서를 세 개 이상 만든 팀의 비율 같은 것이 여기 듭니다. 이 비율이 이번 달에 떨어지면 석 달 뒤 유료 전환이 떨어집니다. 먼저 움직이니 지금 손을 쓸 수 있고, 대신 결과와의 연결이 추측일 때가 있어 한번은 확인해 봐야 합니다.
3. 후행 지표 — 이미 벌어진 결과를 확인시켜 주는 숫자입니다. 월 매출, 분기 해지율이 여기 듭니다. 확실하지만 늦습니다. 3월 해지율을 4월에 보고 나면 그 고객들은 이미 떠난 뒤입니다. 그래서 둘을 함께 놓습니다. 선행 지표로 움직이고 후행 지표로 맞았는지 확인합니다.
4. 허무 지표 — 보기에는 좋지만 어떤 결정도 바꾸지 못하는 숫자입니다. 누적 가입자 12만 명이 대표적입니다. 이 숫자가 13만이 되든 14만이 되든 내일 무엇을 만들지는 달라지지 않습니다. 판별법은 간단합니다. 이 숫자가 반으로 줄면 무엇을 하겠느냐고 묻고 답이 없으면 허무 지표입니다.
5. 가드레일 지표 — 목표로 삼은 숫자를 올리다가 망가질 수 있는 것을 지켜보는 숫자입니다. 가입 완료율을 올리려고 안내 메일을 하루 세 통씩 보내면 가입률은 오르지만 수신 거부율이 함께 오릅니다. 이때 수신 거부율이 가드레일입니다. 목표 지표와 짝으로 정해 두고, 목표가 올랐어도 가드레일이 정해 둔 선을 넘으면 그 변경은 되돌립니다.

지표 하나를 정한다는 것은 이름을 고르는 일이 아니라 세는 규칙을 문장으로 적어 두는 일입니다. 주간 활성 사용자를 예로 들면 적어야 할 것이 넷입니다. 무엇을 한 사람을 셀지, 기간을 어떻게 끊을지, 같은 사람이 여러 번 들어오면 어떻게 셀지, 누구를 아예 빼고 셀지입니다. 페이지덱의 규칙은 "최근 7일 안에 문서를 한 번이라도 연 계정 수, 같은 계정은 한 번만, 사내 직원 계정과 자동화 계정은 제외" 입니다. 이 문장이 없으면 같은 이름의 숫자가 사람마다 다르게 나옵니다. 로그인만 하고 나간 사람을 포함했는지 여부만으로 값이 20퍼센트씩 벌어집니다.

비율 지표는 분자와 분모를 함께 적어야 뜻이 섭니다. 리텐션 30퍼센트라는 값은 분모가 이번 달 가입자인지 넉 달 전 가입자인지에 따라 완전히 다른 말이 됩니다. 분모를 시기별로 묶어 비교하는 방식을 코호트라고 부르는데, 1월에 가입한 사람과 6월에 가입한 사람의 넉 달 뒤 잔존율을 나란히 놓고 보는 식입니다. 전체 평균 하나로는 제품이 나아졌는지 알 수 없습니다. 신규 유입이 늘면 평균은 저절로 내려가기 때문입니다.

좋은 수준의 기준은 밖에서 가져오지 않습니다. 업계 평균 리텐션이 35퍼센트라는 자료를 보고 우리가 30이니 나쁘다고 판정하는 것이 가장 흔한 실수입니다. 그 자료의 35가 누구를 분모에 넣고 몇 개월을 기준으로 잰 값인지 모르는 채로 비교했기 때문입니다. 기준은 셋으로 세웁니다. 우리 제품의 지난 분기 값, 같은 지표를 다른 방식으로 개선했을 때의 값, 그리고 이 숫자가 얼마여야 사업이 굴러가는지를 거꾸로 계산한 값입니다. 한 달에 300만 원을 벌어야 하고 한 고객이 월 3만 원을 낸다면 유지해야 할 고객이 100곳이고, 지금 해지율이 월 5퍼센트라면 매달 다섯 곳을 새로 채워야 제자리라는 계산이 여기서 나옵니다.

다섯을 함께 놓으면 계기판 하나가 됩니다. 가운데에 북극성 지표가 있고, 그 왼쪽에 미리 움직이는 선행 지표 두세 개, 오른쪽에 결과를 확인하는 후행 지표 두세 개, 아래에 넘으면 안 되는 선을 지키는 가드레일 지표가 놓입니다. 허무 지표는 이 판에서 빼는 쪽입니다. 실무에서 지표 체계를 새로 짜는 일은 대개 숫자를 더 찾는 일이 아니라 보고 있던 숫자 중 절반을 화면에서 내리는 일로 끝납니다. 다섯 가운데 넷은 서로를 전제로 삼는다는 점도 함께 봐 둘 만합니다. 선행과 후행은 짝이 맞아야 뜻이 서고, 가드레일은 지킬 목표 지표가 있어야 세울 수 있으며, 허무 지표는 나머지 넷을 고르고 나서야 무엇이 남는 숫자인지 드러납니다. 북극성 지표만 홀로 설 수 있는데, 그것마저 혼자 두면 그 값을 올리려다 무엇이 망가지는지 보이지 않습니다.

"그건 허무 지표예요. 누적이라 내려갈 수가 없잖아요. 이번 달 신규로 보시죠."

지금 보는 숫자로는 제품이 나빠져도 알 수 없으니 기준을 바꾸자는 지적입니다.

"이 실험 목표 지표는 가입 완료율이고 가드레일은 첫 주 이탈률로 잡았습니다."

가입만 늘리고 남지 않는 결과가 나오면 성공으로 치지 않겠다고 미리 못 박는 말입니다.

"그 정의로는 팀마다 다른 값이 나와요. 사내 계정 빼고 다시 뽑아 주세요."

세는 규칙이 문장으로 합의되지 않아 같은 이름의 숫자가 갈렸다는 뜻입니다.

페이지덱에서는 매달 첫 주 화요일에 지표 회의를 합니다. 화면에 띄우는 숫자는 일곱 개로 정해 놓았습니다. 북극성 지표 하나, 선행 셋, 후행 둘, 가드레일 하나입니다. 처음에는 스물세 개를 띄웠는데 회의가 두 시간을 넘기고도 결정이 하나도 안 났습니다. 숫자마다 오르내린 이유를 설명하는 데 시간이 다 갔기 때문입니다. 지현이 각 숫자 옆에 이 값이 바뀌면 무엇을 할 것인지를 한 줄씩 적어 보게 했고, 열여섯 개는 그 칸이 비었습니다. 비어 있던 것들은 화면에서 내렸습니다.

지금은 회의가 30분에 끝납니다. 규원이 먼저 북극성 지표의 넉 달 흐름을 보고, 그다음에 선행 지표 셋 중 꺾인 것이 있는지 봅니다. 지난달에는 첫 주에 문서 세 개를 만든 팀의 비율이 41퍼센트에서 33퍼센트로 떨어져 있었고, 매출은 그대로였습니다. 후행 지표만 봤다면 아무 일도 없는 달이었습니다. 현우가 그 주에 바뀐 것을 되짚어 광고 채널 하나에서 들어온 팀의 성격이 달랐다는 것을 찾아냈고, 그 채널의 예산을 줄이는 결정이 그 자리에서 났습니다.

가장 흔한 오해는 지표를 많이 볼수록 제품을 정확하게 파악한다고 믿는 것입니다. 도구가 화면 하나에 수십 개를 띄워 주니 그렇게 보이기 쉽고, 숫자를 내리자는 말은 뭔가를 감추자는 말처럼 들리기도 합니다. 실제로는 반대로 움직입니다. 지표가 늘어나면 어떤 달에는 반드시 몇 개가 오르고 몇 개가 내리는데, 그중 오른 것만 골라 설명하는 일이 가능해집니다. 스물세 개를 띄워 놓으면 어떤 결정을 하든 그것을 뒷받침하는 숫자를 항상 찾을 수 있습니다. 그대로 두면 지표 회의가 결정하는 자리가 아니라 이미 내린 결정을 정당화하는 자리로 바뀝니다. 그래서 숫자를 고를 때는 이 값이 어느 쪽으로 움직이면 무엇을 하겠다는 문장을 먼저 적고, 그 문장을 못 적는 숫자는 올리지 않습니다. 화면에서 내린다고 해서 재는 것까지 멈추는 것은 아닙니다. 기록은 그대로 쌓아 두고, 필요할 때 꺼내 보는 자리와 매달 함께 보는 자리를 나눠 두는 쪽에 가깝습니다.

두 번째는 숫자가 결정을 대신해 준다고 보는 것입니다. 근거로 쓰라고 만든 것이니 근거가 곧 답이라고 읽기 쉽습니다. 지표는 무엇이 일어났는지는 알려 주지만 왜 그랬는지는 알려 주지 않습니다. 리텐션이 30퍼센트에서 24퍼센트로 떨어졌다는 사실과 왜 떨어졌는지는 다른 질문이고, 뒤쪽은 사용자에게 직접 묻거나 기록을 따라가 봐야 나옵니다. 이 구분을 놓치면 숫자만 보고 손을 대게 됩니다. 떨어진 값을 올리려고 안내 메일을 더 보내고 화면에 안내 문구를 더 붙이는데, 실제 원인이 지난달에 바뀐 요금제였다면 그 조치들은 값을 그대로 둔 채 사용자만 성가시게 합니다. 숫자는 어디를 파 볼지 알려 주는 지도이지 파 놓은 구덩이가 아닙니다.