허무 지표

숫자를 뽑아 화면에 얹는 일이 쉬워지면서 보고서와 대시보드에 지표가 쌓였습니다. 그중에는 언제 봐도 올라가 있는 숫자가 있습니다. 누적 가입자, 누적으로 만들어진 문서 수, 소개 페이지 방문 수 같은 것들입니다. 한 번 더해진 값은 사람들이 떠나도 빠지지 않으니 이 숫자들은 제품이 나빠지는 달에도 오릅니다.

페이지덱의 월간 보고 첫 장이 그랬습니다. 누적 가입자 12만 명, 누적 문서 200만 개, 소개 페이지 방문 8만 회가 석 장에 걸쳐 실려 있었고 모두 지난달보다 컸습니다. 20분 동안 그 숫자를 읽고 회의가 끝났는데, 다음 달에 무엇을 만들지는 하나도 정해지지 않았습니다. 같은 기간 유료 팀 수는 두 달째 제자리였고 그 숫자는 넷째 장에 있었습니다.

문제는 숫자가 틀린 것이 아니었습니다. 12만 명은 정확한 값이었습니다. 다만 그 값을 보고 나서 달라지는 것이 없었습니다. 그래서 틀린 숫자와는 별개로, 맞지만 결정에 닿지 않는 숫자를 따로 부를 이름이 필요해졌습니다.

허무 지표는 숫자 자체의 종류가 아니라 두 조건이 겹칠 때 생기는 상태입니다. 값이 거의 한 방향으로만 움직이고, 값이 어떻게 나오든 다음에 할 일이 바뀌지 않는 경우입니다.

1. 누적값은 내려가지 않습니다. 누적 가입자는 오늘 100명이 떠나고 10명이 들어와도 10명만큼 오릅니다. 오르는 선을 보면 잘 되고 있다는 느낌이 들지만, 그 선은 제품이 나빠졌는지를 알려 주지 못합니다.
2. 견줄 기준이 함께 오지 않습니다. 방문 8만 회가 많은지 적은지는 지난달 값이나 그중 몇 명이 가입했는지를 알아야 판정됩니다. 분모 없는 절대값 하나만 올려 두면 읽는 사람마다 다른 결론을 냅니다.
3. 결정과 이어지지 않습니다. 판별은 질문 하나로 끝납니다. 이 숫자가 다음 달에 반으로 줄면 무엇을 하겠느냐고 묻고, 답이 없으면 허무 지표입니다. 누적 가입자가 12만에서 6만으로 줄 수는 없으니 이 질문 자체가 성립하지 않습니다.

그래서 같은 이름의 숫자가 회사에 따라 허무 지표이기도 하고 아니기도 합니다. 광고로 돈을 버는 매체에서 페이지뷰는 매출과 거의 같은 말이라 결정을 바꾸는 숫자입니다. 페이지덱에서 소개 페이지 방문 수는 그 자체로는 아무것도 바꾸지 못하고, 방문 대비 가입 비율로 바꿔 놓으면 문구를 고칠지 말지를 정하는 숫자가 됩니다. 재는 대상을 바꾼 것이 아니라 결정에 닿는 형태로 바꾼 것입니다.

이 말은 지표를 고르는 자리에서 화면에서 무엇을 내릴지 정할 때 쓰입니다. 주로 네 군데에 모여 있습니다.

1. 주간·월간 보고서의 첫 장입니다. 앞자리에는 커 보이는 숫자를 놓고 싶어지니 누적값이 그 자리를 차지합니다.
2. 대시보드의 기본 화면입니다. 분석 도구가 처음부터 주는 방문 수와 세션 수가 아무도 지우지 않아 그대로 남아 있는 경우입니다.
3. 외부에 규모를 알리는 자료입니다. 여기서는 목적이 설명이 아니라 설득이라 누적값을 쓰는 것이 이상하지 않습니다. 문제는 그 장을 그대로 내부 회의에 가져와 결정 근거로 쓸 때 생깁니다.
4. 분기 목표입니다. 목표 칸에 허무 지표가 올라가면 팀은 그 값을 올리는 쪽으로 움직입니다. 지표를 목표로 삼는 순간 그 지표가 망가지는 현상을 굿하트의 법칙이라고 부르는데, 허무 지표가 목표가 되면 망가질 것도 없이 처음부터 헛수고가 됩니다.

내린 자리는 비워 두지 않습니다. 팀이 한 방향을 보게 만드는 북극성 지표 하나를 가운데 두고, 먼저 움직여 앞날을 알려 주는 선행 지표와 결과를 확인시켜 주는 후행 지표를 양옆에, 목표를 올리다 망가질 것을 지켜보는 가드레일 지표를 아래에 놓습니다. 실무에서 지표 체계를 다시 짜는 일은 대개 숫자를 더 찾는 일이 아니라 보고 있던 숫자의 절반을 내리는 일로 끝납니다.

"누적 가입자는 허무 지표라 첫 장에서 빼고 주간 활성 계정으로 바꿨어요."

결정에 쓰이지 않는 숫자를 앞자리에서 내리고 움직임이 보이는 숫자를 올렸다는 말입니다.

"이 숫자가 반으로 줄면 우리가 무엇을 합니까?"

이 지표가 결정에 닿는지 확인하는 질문으로, 답이 나오지 않으면 화면에서 내리자는 뜻입니다.

"가입자는 늘었는데 유료 전환은 석 달째 그대로입니다."

앞자리 숫자가 오른 것이 사업이 나아진 근거가 되지 못한다는 지적입니다.

지현이 페이지덱의 월간 보고 양식을 고칠 때 한 일이 이것입니다. 첫 장에 있던 누적 숫자 셋에 각각 같은 질문을 붙였습니다. 이 값이 반으로 줄면 다음 주에 무엇을 바꾸겠느냐는 질문이었고, 셋 모두 답이 나오지 않았습니다. 세 장을 내리고 그 자리에 주간 활성 계정 수와 첫 주에 문서를 세 개 이상 만든 팀의 비율을 올렸습니다. 다음 회의에서는 숫자를 읽는 데 5분이 걸렸고 남은 시간은 두 번째 숫자가 왜 지난주에 떨어졌는지를 두고 갔습니다.

특정 지표가 원래부터 허무 지표라고 외우는 경우가 가장 많습니다. 설명에 늘 같은 예가 나오니 페이지뷰와 가입자 수는 무조건 나쁜 숫자라고 받아들이게 됩니다. 실제로는 그 숫자가 놓인 자리가 판정합니다. 광고 지면을 파는 회사에서 페이지뷰는 매출의 재료이고, 가입자 수도 가입 화면을 고친 직후 사흘간은 그 변경이 먹혔는지 보는 숫자입니다. 목록으로 외우면 쓸 수 있는 숫자를 버리는 한편, 목록에 없다는 이유로 우리 맥락에서 아무것도 바꾸지 못하는 숫자를 그대로 남깁니다.

허무 지표는 아예 재지 말아야 한다고 읽는 것도 흔합니다. 나쁜 숫자라고 배웠으니 지우는 것이 맞아 보입니다. 하지만 누적 가입자는 서버 비용을 가늠하거나 외부에 규모를 알릴 때 여전히 필요합니다. 내리는 것은 숫자가 아니라 그 숫자가 차지하고 있던 앞자리입니다. 기록은 남겨 두고 판단하는 화면에서만 빼면 됩니다. 여기서 한 발 더 나가 전부 지워 버리면 반년 뒤에 그 값을 다시 쌓아야 하고, 그때는 지난 기록이 없어 지금과 견줄 수가 없습니다.