기술 분석

이름부터 짚고 가는 편이 낫습니다. 여기서 기술은 기술력의 그 기술이 아니라, 있었던 일을 적어서 서술한다는 뜻의 기술입니다.

이 말이 필요해진 자리는 기록은 쌓여 있는데 아무도 답을 못 하는 상황이었습니다. 가입도 결제도 매일 기록에 남는데, 지난달에 몇 명이 가입했느냐고 물으면 방 안에서 세 가지 답이 나옵니다. 한 사람은 가입 버튼을 누른 수를, 한 사람은 이메일 인증까지 끝낸 수를, 한 사람은 기억을 말합니다.

그래서 회의는 늘 같은 자리에서 멈췄습니다. "요즘 팀 요금제가 잘 나가는 것 같아요" 와 "저는 오히려 줄었다고 느꼈는데요" 가 맞붙고, 둘 다 근거가 느낌이라 판정이 안 납니다. 30분을 쓰고 나서야 누가 숫자를 확인해 오기로 하고 회의가 끝납니다.

기술 분석은 이 자리를 먼저 정리하자는 것입니다. 원인을 찾거나 앞날을 점치기 전에 무슨 일이 있었는지부터 한 벌의 숫자로 고정합니다. 무슨 일이 있었는지 모르면 원인을 찾을 수 없고, 원인을 모르면 예측은 숫자놀음이 됩니다.

셀 대상을 못 박고, 기간을 정해 뽑고, 견줄 기준과 나란히 놓는 순서로 진행합니다. 여섯 단계입니다.

1. 답할 질문과 기간을 한 문장으로 적습니다. "지난달 가입자 수와 유료 전환 수" 처럼 적어 두면 중간에 대상이 슬그머니 바뀌는 일을 막습니다.
2. 셀 대상의 정의를 못 박습니다. 활성 사용자를 로그인한 사람으로 볼지, 문서를 하나라도 연 사람으로 볼지에 따라 값이 두 배씩 차이 납니다. 이 정의를 적어 두지 않으면 다음 달에 다른 사람이 다른 값을 들고 옵니다.
3. 데이터를 뽑고 재료 상태를 봅니다. 값이 빈 행, 같은 사람이 두 번 들어간 행, 시험용 기록을 먼저 걸러 냅니다. 건너뛰면 사내 테스트 계정 서른 개가 신규 가입자에 섞입니다.
4. 요약합니다. 합계와 비율을 내되 평균 하나로 끝내지 않습니다. 계정별 문서 수 평균이 34개인데 중앙값이 6개라면, 큰 계정 몇 개가 평균을 끌어올리고 있고 실제 대부분의 계정은 6개 언저리라는 뜻입니다.
5. 견줄 기준을 옆에 놓습니다. 지난달 4,120명이라는 숫자 하나로는 많은지 적은지 알 수 없습니다. 그 전달 3,900명, 작년 같은 달 2,700명을 나란히 두면 비로소 읽힙니다.
6. 되풀이해 볼 값이면 대시보드에 올립니다. 매달 같은 계산을 손으로 다시 하면 그때마다 조금씩 다른 값이 나옵니다.

여기서 나오는 결과물은 표 한 장이거나 그래프 몇 개입니다. 지난달 가입 4,120명, 그중 유료 전환 210명, 전환율 5.1퍼센트처럼 문장으로 읽히는 상태면 이 단계는 끝난 것입니다.

현황을 같은 숫자로 맞춰야 할 때 씁니다. 월간 보고, 투자자에게 보내는 지표 요약, 매일 아침 확인하는 운영 지표가 모두 이 자리입니다. 어제 가입이 평소의 3분의 1이라는 사실을 아침에 알아채는 것도 기술 분석의 몫입니다. 원인은 모르지만 뭔가 있다는 신호는 여기서 먼저 나옵니다.

한계는 세 가지입니다.

1. 왜 그런지는 답하지 못합니다. 전환율이 12퍼센트에서 8퍼센트로 떨어졌다는 사실까지가 이 분석의 끝이고, 어느 구간에서 떨어졌는지 들어가는 것은 진단 분석의 일입니다.
2. 합쳐 놓은 숫자가 집단 차이를 감춥니다. 전체 전환율 9퍼센트가 실은 팀 요금제 21퍼센트와 개인 요금제 4퍼센트의 가운데 값이라면, 9퍼센트에 해당하는 사용자는 한 명도 없습니다. 단계별로 쪼개 보려면 퍼널 분석, 시간축으로 보려면 리텐션 분석처럼 자르는 방식을 따로 고릅니다.
3. 재료가 치우쳐 있으면 요약도 치우칩니다. 지금 쓰고 있는 고객에게만 만족도를 물어 평균을 내면 이미 떠난 사람이 떠난 이유는 영영 표에 들어오지 않습니다. 이런 치우침을 생존 편향이라고 합니다.

그래서 이 분석의 결과를 들고 나가기 전에 두 가지를 스스로 묻습니다. 이 숫자를 만든 사람들이 전체를 대표하는가, 그리고 이 숫자만으로 결정을 내려도 되는가.

"지난달 가입 4,120명, 유료 전환 210명입니다. 전환율은 5.1퍼센트고요."

원인이나 대책 없이 있었던 일만 정리해 내놓은 보고입니다.

"이건 기술 분석까지만 한 겁니다. 왜 떨어졌는지는 아직 안 봤어요."

숫자는 나왔지만 해석은 시작도 안 했다는 뜻입니다.

"평균 말고 중앙값도 같이 주세요. 큰 계정 몇 개가 끌어올리고 있는 것 같아서요."

요약 방식 하나로는 분포가 가려진다는 지적입니다.

페이지덱의 월간 지표 회의가 이 분석으로 시작합니다. 지현이 가입 수, 유료 전환 수, 활성 워크스페이스 수, 해지 수를 지난 12개월과 나란히 놓은 표 한 장을 띄웁니다. 해석은 아직 붙이지 않습니다. 참석자 여덟 명이 같은 숫자를 보고 있게 만드는 것이 이 자리의 목적이기 때문입니다.

지난 회의에서는 여기서 이상한 칸이 하나 나왔습니다. 활성 워크스페이스는 늘었는데 문서 생성 수는 줄어 있었습니다. 지현은 그 자리에서 원인을 추측하지 않고 다음 주에 쪼개 보겠다고만 적었습니다. 한 주 뒤에 요금제별로 갈라 보니 개인 요금제에서만 줄어 있었고, 그때부터가 다른 분석의 영역이었습니다.

기술 분석을 쉬운 단계로 읽고 건너뛰려는 경우가 흔합니다. 숫자를 세는 일이라 기술적으로 어려울 게 없어 보이고, 원인이나 예측 쪽이 더 값어치 있어 보입니다. 하지만 이 단계에서 정의를 대충 잡으면 뒤의 모든 분석이 흔들립니다. 활성 사용자의 정의를 적어 두지 않은 채 원인을 파고들면, 두 달 뒤에 다른 담당자가 다른 정의로 같은 분석을 했을 때 정반대 결론이 나옵니다. 어느 쪽이 맞는지 가릴 방법도 없습니다.

숫자가 나왔으니 원인도 알았다고 넘겨짚는 것도 자주 보입니다. 표를 보다 보면 눈에 띄는 칸이 생기고, 그 옆 칸과 붙여 읽으면 이야기가 만들어집니다. 광고비를 늘린 달에 가입이 늘었으니 광고가 효과를 냈다는 식입니다. 같은 달에 경쟁 서비스가 요금을 올렸을 수도 있고 계절 효과일 수도 있습니다. 두 값이 함께 움직인 것은 상관관계이고, 한쪽이 다른 쪽을 일으켰다고 말하려면 따로 확인해야 합니다. 성급하게 결론을 내면 다음 분기 예산이 엉뚱한 곳으로 갑니다.