세그먼트 분석

전체 평균은 편리한 만큼 사람을 헷갈리게 합니다. 페이지덱의 무료에서 유료 전환율이 9퍼센트였습니다. 지현은 이 숫자를 12퍼센트로 올리자는 목표를 세웠는데, 무엇을 해야 하는지가 나오지 않았습니다. 9퍼센트라는 값은 어떤 화면을 고칠지도, 누구에게 말을 걸지도 알려 주지 않았습니다.

요금제로 갈라 보고서야 답이 보였습니다. 팀 요금제로 가입한 사람은 21퍼센트가 전환했고 개인 요금제로 가입한 사람은 4퍼센트가 전환했습니다. 9퍼센트는 두 값을 섞어 만든 가운데 값이고, 실제로 9퍼센트에 해당하는 사용자는 한 명도 없었습니다.

평균이 감추는 것은 차이만이 아닙니다. 할 일도 함께 감춥니다. 9퍼센트를 놓고 보면 결제 화면을 고치자는 이야기가 나오지만, 21과 4를 놓고 보면 팀으로 가입한 사람이 무엇을 다르게 겪는지부터 묻게 됩니다. 세그먼트 분석은 이 질문이 나올 수 있게 숫자를 갈라 놓는 일입니다.

나누는 일부터 시작하지 않습니다. 무엇을 결정하려는지를 먼저 적습니다. 결정이 없으면 조각이 늘어날 뿐이고, 남는 것은 보고서 한 장입니다.

1. 질문을 한 문장으로 적습니다. 전환율이 왜 떨어졌는지 찾겠다는 것과 다음 분기에 어느 고객에게 집중할지 정하겠다는 것은 다른 축을 요구합니다.
2. 가를 축을 고릅니다. 이미 기록에 들어 있는 값 중에서 고르는 것이 원칙입니다. 요금제, 유입 경로, 가입 시기, 접속 기기, 회사 규모가 흔히 쓰이는 축입니다. 기록에 없는 값으로 나누려면 먼저 그 값을 남기는 일부터 해야 합니다.
3. 조각마다 크기를 확인합니다. 조각 하나가 서른 명이면 그 안의 비율은 한두 사람이 움직여도 크게 흔들립니다. 결론을 내기 전에 필요 표본 수를 확인합니다. 결론을 내기 위해 모아야 하는 최소 관측 수입니다.
4. 같은 지표를 조각마다 계산해 나란히 놓습니다. 여기서 전체 값도 같이 적어 둡니다. 전체가 9이고 조각이 21과 4라는 사실이 한 줄에 보여야 차이의 크기가 읽힙니다.
5. 차이가 큰 조각부터 파고듭니다. 차이를 확인한 것으로 분석이 끝나지 않습니다. 팀 요금제가 높은 이유가 무엇인지는 그 조각만 떼어 퍼널 분석으로 단계별 이탈을 보거나, 그 조각의 사용자를 직접 만나 확인합니다.
6. 축을 겹치기 전에 멈춥니다. 요금제와 유입 경로를 함께 나누면 조각이 열두 개가 되고, 각 조각이 스무 명씩 남습니다. 축 하나로 답이 안 나올 때만 둘째 축을 꺼냅니다.
7. 결정으로 잇습니다. 어느 조각에 무엇을 하기로 했는지 한 줄로 적습니다.

잘 맞는 자리는 둘입니다. 전체 숫자가 움직였는데 어디서 움직였는지 모를 때, 그리고 한정된 자원을 누구에게 쓸지 정해야 할 때입니다. 뒤엣것에서 이 기법은 사람을 줄 세우는 도구가 됩니다. 전환율이 높고 이탈이 낮은 조각을 찾으면 그 조각을 닮은 사람을 더 데려오는 쪽으로 광고와 제품 방향을 옮길 수 있습니다.

한계는 셋입니다.

1. 나눈 축이 원인이라는 보장이 없습니다. 팀 요금제로 가입한 사람이 전환을 잘한 것은 요금제 때문일 수도 있지만, 팀으로 가입할 만큼 이미 필요가 분명했던 사람들이기 때문일 수도 있습니다. 두 값이 함께 움직인다는 상관관계와 한쪽이 다른 쪽을 일으킨다는 인과관계는 다릅니다.
2. 계속 쪼개면 원하는 결론이 나오는 조각을 찾게 됩니다. 축을 바꿔 가며 스무 번 나누면 그중 하나에서는 눈에 띄는 차이가 우연히 나옵니다. 그래서 나눌 축을 미리 정해 두고 시작하는 편이 안전합니다.
3. 전체와 조각의 방향이 반대로 나올 수 있습니다. 조각마다 A안이 좋은데 전체로 합치면 B안이 좋아 보이는 일이 실제로 생깁니다. 조각별 사람 수가 크게 다를 때 일어나므로 조각 크기를 함께 읽습니다.

"전체 전환율 9퍼센트는 아무것도 안 알려 줘요. 요금제로 갈라 봅시다."

평균 하나로는 손댈 곳을 정할 수 없다는 뜻입니다.

"이 조각 스물세 명이에요. 여기서 비율을 말하긴 어렵습니다."

조각이 작아 우연에 흔들린다는 지적입니다.

"축을 두 개 겹치지 말고 하나로 먼저 보죠."

조각을 잘게 부수기 전에 큰 차이를 확인하자는 제안입니다.

페이지덱은 지금 주요 지표를 볼 때 요금제와 유입 경로 두 축을 기본으로 놓고 봅니다. 지현이 앞의 일을 겪은 뒤 대시보드에 전체 값과 조각별 값을 한 화면에 함께 띄우게 바꿨습니다.

앞의 발견 뒤에 실제로 한 일은 결제 화면을 고치는 것이 아니었습니다. 개인으로 가입한 사람에게 동료를 초대해 보라고 권하는 안내를 붙였습니다. 팀으로 쓰기 시작한 개인 사용자의 전환율이 원래 개인 요금제 평균보다 세 배 높다는 것이 조각을 더 나눠 본 결과였기 때문입니다. 9퍼센트만 보고 있었다면 나오지 않을 선택입니다.

잘게 쪼갤수록 정확해진다고 여기는 경우가 많습니다. 조각을 나눠 답을 찾은 경험을 하면 더 나누면 더 보일 것 같습니다. 하지만 조각이 작아질수록 그 안의 비율은 우연에 흔들립니다. 스물세 명 중 다섯 명이 전환했으면 22퍼센트인데, 한 명만 달라져도 17이나 26이 됩니다. 이 숫자로 요금제를 바꾸거나 광고 예산을 옮기면 근거 없이 움직인 것입니다. 조각을 나눌 때는 크기를 먼저 보고, 작으면 기간을 늘려 모으거나 그 조각은 판단을 보류합니다.

차이가 보이면 원인을 찾았다고 보는 것도 흔합니다. 21과 4처럼 크게 벌어진 숫자는 설명처럼 읽힙니다. 하지만 나눈 축은 결과를 가른 기준일 뿐이고 원인은 그 안에 있습니다. 유입 경로별 전환율이 다를 때 그 경로가 좋은 것인지, 그 경로로 오는 사람이 원래 다른 것인지는 나누기만으로 갈리지 않습니다. 확인하려면 조건을 맞춘 실험을 하거나 그 조각의 사용자에게 직접 물어야 합니다. 이 단계를 건너뛰면 유입 경로에 예산을 몰아넣고 아무 일도 일어나지 않는 결과를 얻습니다.