분석 기법

데이터를 모아 두기 시작한 회사에서 한동안 가장 자주 오간 지시는 "데이터 좀 봐 주세요" 였습니다. 무엇을 어떤 순서로 보라는 말은 빠져 있었고, 받은 사람은 각자 떠오르는 방식으로 숫자를 꺼냈습니다.

그래서 회의는 이런 모양이 됐습니다. 이번 달에 유료 전환이 줄었다는 말이 나오면 한 사람은 월별 전환 건수를 표로 만들어 오고, 다른 사람은 요금제별로 갈라 온 그래프를 들고 오고, 또 다른 사람은 해지 사유에 적힌 문장들을 모아 옵니다. 셋 다 틀리지 않았지만 셋을 합쳐도 결론은 나오지 않습니다. 같은 질문에 서로 다른 그림 세 개가 놓이면 남는 대화는 어느 그림이 더 그럴듯한지에 대한 취향 다툼뿐입니다.

한 번으로 끝나지도 않았습니다. 두 달 뒤에 같은 질문이 다시 오면 처음부터 다시 각자 방식으로 뽑았습니다. 지난번에 무엇을 어떻게 봤는지가 사람 머릿속에만 있어서 다음 사람이 이어받을 것이 남지 않았기 때문입니다.

실무에서 오는 질문이 매번 새로워 보여도 유형은 몇 가지로 반복된다는 것이 이 문제의 실마리였습니다. 어디서 사람이 빠지는가, 어떤 집단이 다른가, 한 번 온 사람이 다시 오는가, 이 둘은 정말 서로 관계가 있는가. 유형마다 무엇을 어떤 순서로 보면 되는지가 정리되자 그것들에 이름이 붙었고, 이름이 붙자 "퍼널로 한번 끊어 보죠" 라는 한마디로 무엇을 할지가 합의됐습니다. 이름이 없을 때 분석은 잘하는 사람의 손버릇이었지만, 이름이 붙은 뒤로는 들어온 지 한 달 된 사람도 따라 할 수 있는 순서가 됐습니다. 분석 기법은 그렇게 이름이 붙은 틀들의 묶음입니다.

틀만으로는 부족합니다. 평균과 중앙값 중 무엇을 볼지, 표본이 200명일 때 3퍼센트 차이를 차이라고 불러도 되는지 같은 판단이 매 단계에 끼어들기 때문에 통계 기초가 함께 필요합니다. 분석은 데이터를 모으고 다듬고 셀 것을 정해 둔 다음 칸에 놓인 일이라, 앞 칸이 부실하면 여기서 아무리 정교하게 해도 결론이 틀립니다.

분석 기법 아래 묶인 용어는 네 갈래입니다. 무엇을 묻는 분석인지(성격), 데이터를 어떤 모양으로 자르는지(기법), 나온 관계를 어떻게 읽는지(해석), 모으는 단계에서 무엇이 이미 틀어질 수 있는지(편향)입니다.

성격은 질문의 시제로 나뉘는 갈래이고 세 자리가 있습니다.

1. 기술 분석 — 무슨 일이 있었는지를 요약합니다. 지난달 가입 4,120명, 그중 유료 전환 210명처럼 이미 벌어진 일을 숫자로 정리해 놓는 자리입니다.
2. 진단 분석 — 왜 그렇게 됐는지를 찾습니다. 전환율이 12퍼센트에서 8퍼센트로 떨어졌을 때 어느 구간, 어느 집단에서 떨어졌는지를 쪼개 들어갑니다.
3. 예측 분석 — 앞으로 어떻게 될지를 추정합니다. 지난 12개월의 기록을 재료로 다음 달 값을 미리 그려 보는 일입니다. 다음 분기에 필요한 서버 용량을 잡아 두거나 상담 인력을 몇 명 더 뽑을지 정할 때처럼, 빗나가도 되돌릴 수 있는 결정에 먼저 씁니다.

순서가 있습니다. 무슨 일이 있었는지 모르면 원인을 찾을 수 없고, 원인을 모르면 예측은 숫자놀음이 됩니다. 실무에서 도는 분석은 열에 아홉이 앞의 두 칸에 머뭅니다.

기법은 데이터를 자르는 모양으로 나뉘는 갈래이고 다섯 자리가 있습니다.

1. 퍼널 분석 — 정해 둔 단계를 순서대로 놓고 각 칸에 몇 명이 남는지 셉니다. 가입 1,000명, 문서 생성 420명, 동료 초대 130명이라면 가장 크게 깎이는 첫 칸이 손댈 곳입니다.
2. 세그먼트 분석 — 집단을 갈라 서로 비교합니다. 전체 전환율 9퍼센트가 실은 팀 요금제 21퍼센트와 개인 요금제 4퍼센트의 가운데 값이라면, 9퍼센트에 해당하는 사용자는 한 명도 없습니다. 가를 축은 요금제, 유입 경로, 가입 시기처럼 이미 기록에 들어 있는 값 중에서 고릅니다.
3. 리텐션 분석 — 한 번 온 사람이 다시 오는 정도를 시간축으로 봅니다. 가입한 주가 같은 사람끼리 묶어 1주 뒤, 4주 뒤, 12주 뒤에 몇 퍼센트가 남았는지를 나란히 놓습니다.
4. RFM 분석 — 마지막으로 산 때, 사는 빈도, 쓴 금액 세 축으로 고객을 나눠 등급을 매깁니다. 누구에게 먼저 연락할지를 정할 때 씁니다. 최근에 결제했고 결제가 잦으며 금액도 큰 계정은 상위 등급으로 묶어 담당자가 직접 연락하고, 마지막 결제가 1년 전인 계정은 자동 메일 대상으로 남깁니다.
5. 경로 분석 — 사용자가 실제로 지나간 화면 순서를 따라갑니다. 퍼널이 우리가 정해 둔 길을 얼마나 따라왔는지 재는 것이라면, 경로 분석은 정해 두지 않은 길로 얼마나 샜는지를 보여 줍니다. 검색으로 들어와 요금 페이지와 도움말을 두 번 오간 뒤 나가는 동선이 자주 잡힌다면, 결정이 우리가 그려 둔 가입 흐름 바깥에서 일어나고 있다는 뜻입니다.

해석은 나온 숫자를 읽는 규칙을 다루는 갈래이고 네 자리가 있습니다.

1. 상관관계 — 두 값이 함께 움직이는 정도입니다. 초대를 많이 한 계정일수록 오래 남는다는 관찰이 여기에 해당합니다.
2. 인과관계 — 한쪽이 다른 쪽을 실제로 일으키는 관계입니다. 함께 움직였다는 사실만으로는 여기까지 갈 수 없습니다.
3. 교란 변수 — 두 값 모두에 영향을 줘 관계를 있어 보이게 만드는 숨은 변수입니다. 초대도 많이 하고 오래도 남는 이유가 사실은 그 계정의 팀 규모가 크기 때문일 수 있습니다.
4. 심슨의 역설 — 전체로 보면 A가 나은데 집단별로 쪼개면 모든 집단에서 B가 나은 상황입니다. 합쳐 놓은 숫자 하나를 근거로 결정하면 정반대로 갈 수 있다는 경고입니다.

편향은 결론이 아니라 재료가 틀어지는 경우를 다루는 갈래이고 두 자리가 있습니다.

1. 생존 편향 — 살아남은 사례만 보고 판단하는 오류입니다. 지금 쓰고 있는 고객에게만 만족도를 물으면 이미 떠난 사람이 떠난 이유는 영영 표에 들어오지 않습니다.
2. 선택 편향 — 표본을 고르는 과정에서 생기는 치우침입니다. 앱 안에서 띄우는 설문은 앱에 자주 들어오는 사람만 답하므로, 그 답을 전체 사용자의 생각으로 읽으면 안 됩니다.

네 갈래는 한 번의 분석 안에서 함께 씁니다. 성격이 지금 무엇을 묻는 중인지를 정하고, 기법이 그 물음에 맞는 자르는 방식을 고르고, 해석과 편향이 나온 결과를 그대로 믿어도 되는지를 점검합니다. 앞의 둘만 하고 뒤의 둘을 건너뛰면 그럴듯한 그래프가 잘못된 결정으로 이어집니다. 그래서 결과를 들고 나가기 전에 두 가지를 스스로 묻습니다. 이 숫자를 만든 사람들이 전체를 대표하는가, 그리고 여기서 보인 관계를 원인이라고 불러도 되는가.

"이건 퍼널로 한번 끊어서 보죠. 어디서 빠지는지부터 보고 원인은 그다음입니다."

원인을 추측하기 전에 이탈이 일어나는 위치부터 숫자로 확정하자는 제안입니다.

"전체 평균 말고 세그먼트로 갈라 주세요. 지금 숫자는 두 집단이 섞여 있는 것 같아요."

하나의 평균이 성격이 다른 두 무리의 가운데 값이라 어느 쪽도 설명하지 못한다는 의심입니다.

"이건 상관까지만 말할 수 있어요. 인과로 쓰려면 실험을 걸어야 합니다."

관찰된 관계를 근거로 기능을 밀자는 제안에 거는 제동입니다.

페이지덱에서는 유료 전환이 떨어진 달의 회의가 이 순서로 흘러갔습니다. 지현이 먼저 지난 석 달의 전환 건수를 읽어 어느 달에 꺾였는지를 확인했습니다. 그다음 태오가 가입부터 결제까지의 단계를 끊어 각 칸에 남은 사람 수를 뽑았고, 문서 생성 다음 칸에서만 비율이 눈에 띄게 낮아진 것이 보였습니다. 석 달 전에 31퍼센트였던 그 칸이 19퍼센트로 내려가 있었고, 나머지 칸은 1~2퍼센트 안에서 움직였습니다.

거기서 멈추지 않고 같은 표를 요금제별로 다시 갈랐습니다. 떨어진 쪽은 개인 요금제뿐이었고 팀 요금제는 그대로였습니다. 지현이 마지막으로 물은 것은 그 구간을 고치면 전환이 돌아오느냐였습니다. 태오의 답은 지금 있는 데이터로는 거기까지 말할 수 없다는 것이었고, 두 사람은 화면을 바꾼 안과 그대로인 안을 반씩 보여 주는 실험을 걸어 확인하기로 했습니다.

분석이 기법을 고르는 데서 시작한다고 여기는 경우가 가장 많습니다. 이름이 붙은 틀이 여럿 있고 도구에서 버튼 하나로 돌아가니 먼저 손이 가는 것이 자연스럽습니다. 하지만 기법은 질문을 받아 답을 내는 도구라서, 답할 질문이 정해지지 않으면 결과가 나와도 읽을 수가 없습니다. 이 순서가 뒤집히면 회의에 "퍼널도 돌리고 리텐션도 봤는데 특별한 건 없었습니다" 라는 보고가 올라옵니다. 특별한 것이 없는 게 아니라 무엇이 특별한 것인지를 아무도 미리 정하지 않은 상태입니다. 먼저 정할 것은 어떤 답이 나오면 무엇을 하겠다는 문장 하나입니다. 개인 요금제 사용자가 문서 생성 단계에서 유독 많이 빠진다면 그 화면부터 고치겠다고 정해 두면, 그때부터 필요한 기법은 저절로 정해집니다.

분석이 원인을 알려 준다고 믿는 것도 흔합니다. 진단이라는 말이 붙은 갈래가 있고 실제로 원인처럼 보이는 것이 자주 나오기 때문입니다. 그러나 이미 벌어진 기록을 뒤져서 찾아낼 수 있는 것은 함께 움직인 값들까지입니다. 초대를 많이 한 계정이 오래 남았다는 사실을 알아도, 초대를 하도록 밀어 주면 오래 남게 되는지는 다른 문제입니다. 원래 오래 쓸 생각이던 팀이 초대도 많이 했을 뿐일 수 있기 때문입니다. 이 구분을 빼먹으면 함께 움직인 값 하나를 붙잡고 반년짜리 기능을 만들고, 출시 뒤에 숫자가 그대로인 이유를 설명하지 못하게 됩니다. 반년은 이미 지나갔고, 그 사이에 하지 않은 다른 일이 무엇이었는지는 아무도 계산하지 않습니다. 분석이 하는 일은 후보를 몇 개로 좁히는 데까지이고, 그중 무엇이 진짜 원인인지는 갈라서 해 보는 방법으로만 확인됩니다.