지표

회사의 상태를 말로만 주고받던 시절이 있었습니다. 요즘 반응이 좋다, 이탈이 좀 늘어난 것 같다, 지난 캠페인은 잘됐다 같은 문장으로 회의가 굴러갔습니다. 이런 문장에는 반박할 방법이 없습니다. 반응이 좋다는 말에 좋지 않다고 답해 봐야 두 사람의 인상이 부딪힐 뿐이고, 결국은 그날 목소리가 큰 쪽이나 직급이 높은 쪽으로 결론이 기웁니다. 한 분기가 지난 뒤에 그 결론이 맞았는지 확인할 방법도 없습니다. 확인하려면 그때 무엇을 보고 그렇게 판단했는지가 남아 있어야 하는데, 인상은 남지 않습니다.

숫자를 들여놓기 시작하면 이 문제가 절반쯤 해결됩니다. 나머지 절반은 숫자를 들여놓은 다음에 새로 생깁니다. 같은 이름의 숫자가 회의마다 다른 값으로 들어오는 문제입니다. 페이지덱에서도 그랬습니다. 규원이 이번 달 활성 사용자가 몇 명이냐고 묻자 현우는 12만 명이라고 답하고 지현은 4만 명이라고 답했습니다. 둘 다 자기 화면을 보고 정확하게 읽었습니다. 현우가 센 것은 한 번이라도 접속한 사람이고, 지현이 센 것은 문서를 한 건이라도 만든 사람이었습니다.

이 자리에서 벌어지는 일은 대개 정해져 있습니다. 회의의 주제가 사업에서 숫자로 옮겨 갑니다. 무엇을 할지 정하려고 모인 자리에서 한 시간 동안 어느 숫자가 맞는지를 따지고, 다음 주에 각자 다시 뽑아 오기로 하고 헤어집니다. 다음 주에도 두 숫자가 그대로 들어옵니다. 세는 방법을 정하지 않았으니 다시 뽑아도 같은 결과가 나오는 것입니다. 더 나쁜 쪽은 이 상태가 오래 가면 숫자 자체를 믿지 않게 된다는 점입니다. 어차피 사람마다 다르게 나온다는 인식이 자리 잡으면, 제대로 계산한 숫자를 가져와도 회의에서 힘을 쓰지 못하고 다시 인상과 목소리로 돌아갑니다.

지표는 이 두 문제를 한꺼번에 막으려고 생긴 개념입니다. 숫자를 보자는 주장 자체는 새롭지 않고, 새로운 것은 숫자를 보기 전에 세는 규칙을 먼저 합의해 문서로 남긴다는 절차입니다. 무엇을 세고 무엇을 빼는지, 어느 시점을 기준으로 하는지, 어느 저장소의 값을 쓰는지를 미리 적어 두면 누가 뽑아도 같은 값이 나옵니다. 그때부터 회의는 숫자가 맞는지가 아니라 그 숫자를 보고 무엇을 할지를 다루게 됩니다.

지표 아래 묶인 용어는 다섯 갈래입니다. 하나의 숫자를 어떻게 정의하고 서로 잇는지(설계), 그 숫자가 팀이 직접 움직일 수 있는 쪽인지 결과로 따라오는 쪽인지(성격), 나눈 값인지 그대로 센 값인지(형태), 숫자를 목표로 삼았을 때 생기는 고장(위험), 그리고 같은 숫자가 여러 곳에서 갈리지 않게 지키는 운영입니다.

설계는 숫자 하나를 못 박고 여러 숫자를 잇는 갈래입니다.

1. 지표 정의 — 무엇을 어떻게 세는지 적어 둔 규칙입니다. 활성 사용자를 예로 들면 접속만 해도 세는지, 어떤 행동을 해야 세는지, 기간을 30일로 볼지 달력상의 한 달로 볼지, 내부 직원 계정을 뺄지를 전부 적습니다. 이 문서가 없으면 같은 이름의 지표가 사람 수만큼 생깁니다.
2. 지표 트리 — 큰 지표 하나를 곱셈과 덧셈으로 쪼개 아래에 매달아 놓은 구조입니다. 월 매출을 결제 계정 수 × 계정당 평균 결제액으로 적고, 결제 계정 수를 다시 신규 + 유지 + 복귀로 쪼개는 식입니다. 이렇게 그려 두면 매출을 올리자는 말이 어느 가지를 건드리자는 말로 바뀌고, 지난달에 무엇이 흔들렸는지도 가지를 따라 내려가며 짚을 수 있습니다. 가지가 나뉘면 맡는 팀도 나뉩니다. 신규 계정 수는 마케팅이, 유지는 고객 성공이, 계정당 결제액은 제품과 가격 정책이 맡는 식이라 목표를 나눠 주기도 쉬워집니다.

성격은 그 숫자를 팀이 직접 움직일 수 있는지로 가르는 갈래입니다. 인풋 지표는 팀의 행동이 그날 바로 반영되는 쪽입니다. 이번 주에 내보낸 안내 메일 수, 고친 도움말 문서 수, 응답까지 걸린 평균 시간 같은 값입니다. 아웃풋 지표는 그 행동이 쌓여 나중에 나타나는 쪽으로, 매출이나 유지율이 여기 속합니다. 둘을 나누는 실익은 목표를 세울 때 드러납니다. 아웃풋만 목표로 걸면 팀은 무엇을 해야 할지 모르는 채로 분기를 시작합니다. 유지율을 5퍼센트 올리라는 지시를 받은 사람이 월요일 아침에 열 수 있는 화면은 없습니다. 반대로 인풋만 보면 열심히 움직였는데 아무것도 나아지지 않은 분기를 만들 수 있습니다. 그래서 인풋을 매주 보고 아웃풋을 분기로 보면서, 둘의 연결이 실제로 성립하는지를 같이 확인합니다.

형태는 숫자의 생김새를 가르는 갈래입니다. 비율 지표는 두 값을 나눠 만든 값이고 절대 지표는 개수나 금액을 그대로 본 값입니다. 둘 중 하나만 보면 반드시 속습니다. 전환율이 3퍼센트에서 6퍼센트로 올랐다는 보고는 훌륭해 보이지만, 방문자가 2만 명에서 1천 명으로 줄어든 결과라면 실제 전환 건수는 600건에서 60건으로 떨어진 것입니다. 반대로 가입 수가 늘었다는 절대값만 보면 광고비를 두 배로 쓴 사실이 가려집니다. 그래서 대시보드에는 보통 둘을 나란히 놓고, 비율이 움직였을 때 분자와 분모 중 어느 쪽이 움직였는지를 먼저 봅니다.

위험은 숫자를 다루다 생기는 고장을 다루는 갈래입니다. 굿하트의 법칙은 어떤 숫자가 목표가 되는 순간 그 숫자는 상태를 재는 기능을 잃는다는 말입니다. 고객 문의 응답 시간을 팀 목표로 걸면 응답 시간은 확실히 내려갑니다. 다만 내려가는 방법이 문제를 빨리 해결하는 쪽이 아니라 일단 접수했다는 답을 먼저 보내는 쪽일 수 있습니다. 지표는 내려갔고 고객이 겪는 일은 그대로이거나 더 나빠집니다. 이 고장을 완전히 피하는 방법은 없고, 대개 짝이 되는 지표를 하나 더 걸어 두는 식으로 다룹니다. 응답 시간 옆에 재문의 비율을 함께 놓으면 빈 답장으로 시간만 줄이는 길이 막힙니다.

운영은 정해 둔 지표가 흐트러지지 않게 지키는 갈래입니다. 단일 진실 원천은 같은 값에 대해 기준이 되는 저장소를 하나만 두는 원칙입니다. 매출을 각자 자기 방식으로 계산해 쓰면 회의에 매출이 세 개 들어오므로, 계산식을 한곳에 두고 모든 화면이 그 값을 가져다 쓰게 만듭니다. 대신 그 한곳을 고칠 때는 어느 화면이 영향을 받는지 미리 알려야 합니다. 정의를 바꾸면 과거 값도 같이 바뀌기 때문입니다. 활성 사용자에서 내부 직원 계정을 빼기로 하면 지난달 숫자가 4만에서 3만 8천으로 내려앉는데, 이 사실을 공지하지 않으면 다음 회의에서 누군가 성장이 꺾였다고 보고합니다. 그래서 정의를 고칠 때는 바꾼 날짜와 이유, 바뀐 전후 값을 같은 문서에 적어 둡니다.

다섯 갈래는 순서대로 물려 있습니다. 정의가 없으면 트리를 그릴 수 없고, 성격과 형태를 구분하지 않으면 목표를 잘못 걸고, 위험을 모르면 잘 만든 지표가 반년 만에 망가지고, 운영이 없으면 정의가 있어도 화면마다 값이 갈립니다. 새로 지표를 만들 때 순서도 대체로 이쪽입니다. 먼저 이 숫자로 어떤 결정을 할지를 한 줄로 적고, 그 결정에 맞게 세는 규칙을 정하고, 팀이 직접 움직일 수 있는 짝을 하나 붙이고, 목표로 걸었을 때 어떻게 우회될 수 있는지를 미리 생각해 보고, 마지막으로 그 값을 어디서 가져올지 못 박습니다. 다섯 단계 중 첫 줄을 건너뛴 지표가 나중에 가장 먼저 대시보드에서 내려갑니다.

"그 숫자 정의가 어디 적혀 있죠? 저희 쪽 대시보드랑 값이 다릅니다."

같은 이름의 지표를 서로 다른 방법으로 세고 있으니 기준 문서부터 맞추자는 말입니다.

"이건 아웃풋이라 이번 분기 목표로 걸기엔 팀이 직접 못 움직여요."

결과 쪽 숫자라서 목표로 삼으면 당장 할 일이 정해지지 않는다는 뜻입니다.

"비율만 보지 말고 분모도 같이 주세요."

퍼센트가 좋아진 것이 실제 개선인지 모수가 줄어든 착시인지 가려야 한다는 요청입니다.

페이지덱에서 지표를 손보는 자리는 분기 목표를 세우기 직전의 일주일입니다. 지현이 지난 분기에 쓰던 지표 목록을 펴 놓고 한 줄씩 묻습니다. 이 숫자를 보고 무엇을 바꿨는지, 지난 분기에 이 값이 움직였을 때 누가 어떤 결정을 했는지입니다. 답이 나오지 않는 줄은 대시보드에서 내립니다. 처음 이 작업을 했을 때 서른두 줄이 아홉 줄로 줄었습니다. 내려간 스물세 줄 중에는 매주 자동으로 메일에 실려 나가던 항목도 여럿 있었는데, 내린 뒤 석 달 동안 그 숫자를 다시 찾은 사람은 한 명도 없었습니다.

남은 아홉 줄에는 규원과 지현이 각각 정의 문서를 붙입니다. 태오는 그 정의가 실제 데이터로 계산 가능한지를 확인합니다. 정의가 아무리 그럴듯해도 그 값을 계산하려면 지난 6개월간 남기지 않은 기록이 필요한 경우가 있기 때문입니다. 이 확인을 건너뛰면 분기 중반에 "그 지표는 아직 못 뽑습니다" 라는 말이 나오고, 목표 하나가 통째로 비게 됩니다. 이때 급하게 대신 쓸 숫자를 찾으면 대개 뽑기 쉬운 값이 올라오는데, 그 값은 팀이 실제로 신경 쓰던 것과 다른 경우가 많습니다.

숫자는 객관적이라서 지표를 들여놓으면 논쟁이 끝난다고 생각하기 쉽습니다. 말싸움의 반대말이 숫자처럼 느껴지기 때문입니다. 그러나 무엇을 셀지 고르는 순간에 이미 판단이 들어갑니다. 활성 사용자를 접속 기준으로 셀지 편집 기준으로 셀지는 데이터가 정해 주지 않고 제품이 정합니다. 이 선택이 회의에서 드러나지 않으면 논쟁은 사라지는 것이 아니라 숨습니다. 겉으로는 모두가 같은 대시보드를 보며 동의하는데, 실은 서로 다른 제품을 상상하면서 같은 숫자를 읽고 있는 상태가 됩니다. 이런 팀은 분기 말에 결과를 놓고 처음부터 다시 부딪힙니다.

지표를 많이 볼수록 상황을 잘 안다고 여기는 것도 흔한 착각입니다. 화면에 항목이 서른 개 있으면 빠뜨린 것이 없어 보이니 안심이 됩니다. 실제로는 서른 개를 매주 다 읽는 사람은 없고, 대개 눈에 익은 서너 개만 보다가 나머지는 배경이 됩니다. 그러다 정작 문제가 생긴 항목이 그 배경 속에 있으면 두 달이 지나도록 아무도 알아채지 못합니다. 항목이 많을수록 그중 하나가 이상해질 확률도 같이 올라가서, 매주 어딘가는 빨간색인 상태가 되고 빨간색을 무시하는 습관이 생깁니다. 줄이는 기준은 단순합니다. 이 값이 움직이면 우리가 무엇을 다르게 할지 한 줄로 답할 수 있는 항목만 남깁니다. 답이 나오지 않는 항목은 지워도 손해가 없습니다. 필요해지는 날이 오면 그때 다시 뽑으면 되고, 그날까지는 화면 자리와 매주의 주의력만 가져갈 뿐입니다.