진단 분석

주간 지표 회의에 유료 전환율이 12퍼센트에서 8퍼센트로 떨어졌다는 슬라이드가 올라옵니다. 여기까지는 무슨 일이 있었는지를 숫자로 요약하는 기술 분석이 해 준 일입니다. 회의는 그다음 질문인 "왜요" 에서 멈춥니다.

멈춘 자리는 대개 추측으로 채워집니다. 마케터는 유입 경로가 바뀐 것 같다고 하고, 디자이너는 지난달 바꾼 가입 화면을 의심하고, 개발자는 결제 연동에 오류가 났을지 모른다고 합니다. 셋 다 그럴듯하고 셋 다 근거가 없습니다. 그러면 목소리가 큰 사람의 짐작대로 한 달을 쓰게 됩니다.

진단 분석은 그 빈자리를 데이터로 채우는 방식입니다. 전체 숫자 하나를 놓고 원인을 떠올리는 대신, 그 숫자를 만든 기록을 조건별로 갈라 어느 조각에서 변화가 났는지를 봅니다. 8퍼센트가 사실은 팀 요금제 19퍼센트와 개인 요금제 3퍼센트의 가운데 값이고 떨어진 쪽이 개인 요금제뿐이라면, 의심할 곳은 셋이 아니라 하나가 됩니다.

변화를 문장으로 고정하고, 쪼갤 축을 고르고, 쪼갠 조각을 견주고, 남은 후보를 따로 검증하는 네 걸음으로 돕니다.

1. 무엇이 얼마나 달라졌는지를 한 문장으로 적습니다. "전환율이 나빠졌다" 가 아니라 "가입 후 7일 내 유료 전환율이 8월 12퍼센트에서 9월 8퍼센트로 떨어졌다" 입니다. 기간과 대상이 박혀 있어야 견줄 대상이 생깁니다.
2. 쪼갤 축을 고릅니다. 축은 요금제, 유입 경로, 가입 시기, 기기, 국가처럼 이미 기록에 들어 있는 값 중에서 고릅니다. 기록에 없는 값으로는 쪼갤 수 없으니 이벤트 수집이 어디까지 되어 있는지가 여기서 천장 노릇을 합니다. 이벤트 수집은 사용자가 어떤 버튼을 눌렀고 어느 화면을 봤는지를 기록으로 남겨 두는 일입니다.
3. 축마다 쪼개 놓고 떨어진 조각을 찾습니다. 전체가 4퍼센트포인트 떨어졌는데 어느 조각도 비슷하게 떨어지지 않았다면 그 축은 원인이 아닙니다. 한 조각만 15퍼센트에서 5퍼센트로 주저앉았다면 그 조각이 다음 걸음으로 갑니다.
4. 남은 조각을 단계로 다시 쪼갭니다. 퍼널 분석은 가입부터 결제까지의 단계를 순서대로 놓고 각 칸에 몇 명이 남는지 세는 방식인데, 어느 칸에서 빠졌는지를 알면 후보가 한 번 더 줄어듭니다. 개인 요금제 사용자가 카드 정보 입력 화면에서만 유독 많이 빠졌다면 볼 곳은 그 화면 하나입니다.

여기까지는 후보를 좁히는 일이고, 좁힌 후보가 진짜 원인인지는 따로 확인합니다. 가장 확실한 방법은 A/B 테스트로 그 부분만 되돌려 보는 것입니다. 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 실험이죠. 되돌릴 수 없는 변화라면 같은 변화를 겪지 않은 집단을 옆에 놓고 견줍니다.

이미 벌어진 변화의 원인을 좁힐 때 맞습니다. 지표가 눈에 띄게 꺾였을 때, 어떤 집단만 유독 다르게 움직일 때, 실험 결과가 예상과 어긋나게 나왔을 때가 그런 자리입니다.

맞지 않는 자리도 분명합니다. 첫째, 기록에 없는 원인은 영영 잡히지 않습니다. 경쟁사가 지난달 가격을 절반으로 내렸다는 사실은 우리 로그 어디에도 없어서, 아무리 쪼개도 모든 조각이 고르게 떨어졌다는 결과만 나옵니다. 그때는 분석을 더 돌릴 게 아니라 고객에게 직접 물어야 합니다.

둘째, 조각이 작아질수록 숫자가 흔들립니다. 전체 4,000명을 요금제·유입 경로·기기로 연달아 쪼개면 한 칸에 30명만 남고, 그 30명 중 두 명이 더 전환했느냐 아니냐로 칸의 수치가 7퍼센트포인트씩 출렁입니다. 이건 원인이 아니라 잡음입니다. 한 조각에 최소 몇 명은 있어야 하는지를 쪼개기 전에 정해 둡니다.

셋째, 함께 움직였다는 사실이 원인을 말해 주지는 않습니다. 상관관계는 두 값이 같이 움직이는 정도일 뿐이고 인과관계는 한쪽이 다른 쪽을 실제로 일으키는 관계인데, 쪼개서 보이는 건 언제나 앞쪽입니다. 둘 사이에는 교란 변수가 끼어들 수 있습니다. 양쪽 모두에 영향을 줘 관계를 있어 보이게 만드는 숨은 값입니다. 개인 요금제의 전환율이 떨어진 진짜 이유가 요금제가 아니라 그 무렵 그쪽으로 몰린 광고 유입의 질이었다면, 요금제를 손봐도 숫자는 돌아오지 않습니다.

"전환율 떨어진 거 진단 분석부터 돌려 볼게요. 어느 구간인지 보고 나서 얘기하죠."

원인을 추측으로 정하지 말고 쪼개 본 다음에 논의하자는 제안입니다.

"축을 세 개나 걸었더니 칸마다 스무 명밖에 안 남아요."

쪼개는 단위가 너무 잘아져서 나온 차이를 믿기 어렵다는 말입니다.

"진단까지는 나왔는데 이게 원인인지는 실험으로 확인해야 해요."

좁혀진 후보와 확인된 원인은 다르다는 선긋기입니다.

페이지덱에서는 지표가 꺾인 주에 이 작업이 먼저 잡힙니다. 지현이 하락을 한 문장으로 고정해 공유하면 현우가 유입 경로별로 쪼개 보고, 태오는 결제 단계 로그를 단계별로 확인합니다. 지난 분기에도 이렇게 갈라 보고 나서야 하락이 특정 광고 채널로 들어온 사용자에게만 몰려 있다는 게 드러났습니다. 가입 화면을 의심하던 논의가 그 자리에서 정리됐고, 손본 것은 화면이 아니라 그 채널의 타깃 설정이었습니다. 지현은 조각마다 모수부터 확인합니다.

진단 분석이 원인을 알려 준다고 믿는 경우가 가장 많습니다. 이름이 진단인 데다 결과물도 "개인 요금제에서 떨어졌다" 처럼 한 곳을 지목하는 모양이라 그렇게 읽히기 쉽습니다. 그러나 쪼개서 나오는 건 변화가 몰려 있는 자리이지 그 변화를 만든 힘이 아닙니다. 원인으로 확정하려면 되돌려 보거나 비교 집단을 두고 확인하는 걸음이 따로 붙습니다. 이 구분을 건너뛰면 팀은 몰려 있던 자리를 손보며 한 달을 쓰고, 숫자가 그대로인 것을 본 뒤에는 데이터 자체를 믿지 않게 됩니다.

원인이 하나일 거라고 보는 것도 흔합니다. 쪼개다 보면 한 조각이 유난히 크게 떨어져 보이니 거기서 손을 멈추게 됩니다. 실제로는 4퍼센트포인트 하락이 광고 유입의 질 변화 2퍼센트포인트, 결제 화면 오류 1퍼센트포인트, 계절 효과 1퍼센트포인트가 겹친 결과인 경우가 더 많습니다. 하나만 잡고 끝내면 숫자가 절반만 돌아오고, 남은 절반은 설명되지 않은 채 넘어갑니다.