드릴다운

숫자를 모아 보여 주는 화면은 오래전부터 있었습니다. 문제는 그 화면이 답이 아니라 질문만 만들어 낸다는 데 있었습니다.

대시보드는 주요 지표를 한 화면에 모아 두는 도구인데, 여기 뜬 값은 대부분 합계입니다. "이번 주 신규 가입 2,000명" 한 줄에는 지난주보다 1,000명 줄었다는 사실만 있고 어디서 줄었는지는 없습니다. 광고로 들어오던 사람이 줄었는지, 검색으로 들어오던 사람이 줄었는지, 특정 국가에서만 줄었는지가 그 한 줄에는 담기지 않습니다.

그래서 화면을 본 사람은 늘 같은 자리에서 멈췄습니다. 페이지덱에서도 지현이 월요일 아침에 숫자가 꺾인 것을 보고 데이터 담당자에게 "이거 왜 줄었는지 봐 줄 수 있어요" 라고 물었고, 담당자가 직접 데이터를 뒤져 답을 주기까지 이틀이 걸렸습니다. 그 이틀 동안 아무도 움직이지 못했고, 답이 온 뒤에는 "그럼 그 경로만 따로 볼 수 있을까요" 라는 다음 질문이 이어져 또 하루가 갔습니다.

드릴다운은 이 왕복을 화면 안으로 옮겨 온 것입니다. 합계 옆에 그 값을 쪼개 볼 수 있는 길을 미리 뚫어 두고, 궁금해진 사람이 그 자리에서 눌러 내려가게 합니다. 질문과 답 사이의 이틀이 클릭 두 번이 됩니다.

합계 하나를 고른 다음, 그것을 쪼갤 기준을 하나 골라 나누고, 나뉜 칸 중 튀는 것을 골라 다시 쪼갭니다. 이 세 동작의 반복입니다.

1. 출발점을 정합니다. 화면에서 이상해 보이는 값 하나입니다. 신규 가입이 3,000명에서 2,000명으로 줄었다는 줄입니다.
2. 쪼갤 기준을 고릅니다. 유입 경로, 요금제, 국가, 기기처럼 값을 갈라 볼 수 있는 항목입니다. 유입 경로로 쪼갰더니 검색과 추천은 그대로인데 광고 유입만 1,400명에서 500명으로 줄어 있습니다.
3. 튀는 칸을 골라 한 칸 더 내려갑니다. 광고 유입 안을 캠페인별로 쪼개면 다섯 캠페인 중 하나만 0에 가깝게 떨어져 있습니다. 여기까지 오면 확인하러 갈 곳이 한 군데로 정해집니다.
4. 멈출 자리를 판단합니다. 쪼갤수록 한 칸에 남는 사람 수가 줄어들고, 어느 지점부터는 칸 사이의 차이가 우연으로도 생길 만한 크기가 됩니다. 40명짜리 칸에서 5명 차이는 아무것도 뜻하지 않습니다.

무엇으로 쪼갤 수 있는지는 화면이 정하는 것이 아니라 데이터가 정합니다. 이벤트 속성은 어떤 행동이 기록될 때 함께 저장되는 부가 정보를 말하는데, 가입 기록에 유입 경로를 같이 남겨 두지 않았다면 나중에 유입 경로로 쪼개 보는 일은 불가능합니다. 드릴다운이 얕은 화면은 대개 화면을 대충 만들어서가 아니라 기록할 때 붙여 둔 항목이 적어서 그렇습니다.

한 가지 더 정해야 하는 것은 순서입니다. 같은 값을 국가로 먼저 쪼개고 기기로 내려가는 것과 기기로 먼저 쪼개고 국가로 내려가는 것은 결과가 다르게 보입니다. 큰 덩어리를 먼저 가르는 기준부터 잡는 편이 헤매는 횟수를 줄입니다.

가장 흔한 자리는 지표가 흔들린 날의 원인 좁히기입니다. 전체 전환율이 떨어진 날 국가별로 쪼개 한 곳만 떨어졌는지, 아니면 모든 곳에서 고르게 떨어졌는지를 봅니다. 한 곳만이면 그 지역의 결제 수단이나 외부 사정을 의심하고, 고르게 떨어졌으면 제품 배포나 전체에 걸친 장애를 봅니다. 갈라지는 방향이 다르니 다음에 누구를 부르는지도 달라집니다.

퍼널 분석과 짝으로 쓰는 자리도 많습니다. 퍼널 분석은 가입부터 결제까지 단계마다 얼마나 빠져나가는지를 보는 방법인데, 여기서 특정 단계의 이탈률이 높게 나오면 그 단계를 다시 기기별이나 유입 경로별로 쪼갭니다. 결제 단계 이탈률 60퍼센트가 모바일에서만 80퍼센트라면 결제 화면 자체가 아니라 작은 화면에서의 입력이 문제라는 뜻입니다.

이상 탐지가 먼저 울린 뒤에 이어지는 자리도 있습니다. 평소와 다른 값이 감지되면 알림이 오지만 알림은 무엇이 이상한지까지만 알려 줍니다. 그 뒤에 어디서 이상한지를 찾는 것이 드릴다운의 몫입니다.

"이 숫자 드릴다운 되나요? 눌러서 유입 경로별로 보고 싶은데요."

합계 옆에 세부로 내려가는 길이 뚫려 있는지 묻는 말입니다.

"전체로는 5퍼센트 빠졌는데 드릴다운 해 보니 안드로이드에서만 빠졌어요."

떨어진 값이 전체에 고르게 퍼진 게 아니라 한 칸에 몰려 있다는 보고입니다.

"두 번 내려가니까 표본이 40명이에요. 이 차이는 그냥 흔들림 같은데요."

더 쪼개 봐야 우연과 구분되지 않으니 여기서 멈추자는 뜻입니다.

페이지덱에서 이 조작이 가장 많이 오가는 자리는 주간 지표 회의입니다. 지현이 화면을 띄운 채 이상해 보이는 줄부터 눌러 내려가고, 서너 번 만에 어느 칸에서 벌어진 일인지가 드러나면 그 자리에서 담당을 정합니다. 광고 쪽이면 현우가, 결제 흐름이면 태오가 이어받습니다.

달라진 것은 속도만이 아닙니다. 예전에는 회의에서 나온 질문이 분석 요청으로 바뀌어 다음 주 회의에나 답이 돌아왔고, 그사이에 사람들은 각자의 추측으로 대화했습니다. 지금은 같은 화면을 보면서 추측을 그 자리에서 지웁니다.

드릴다운이 원인을 알려 준다고 여기는 경우가 가장 많습니다. 끝까지 파고들면 답이 나올 것 같고 실제로 마지막 화면이 꽤 구체적이라 그렇게 보입니다. 하지만 이 조작이 좁혀 주는 것은 원인이 아니라 위치입니다. "광고 유입 중 특정 캠페인에서 줄었다" 까지가 드릴다운의 끝이고, 그 캠페인의 예산이 끊겼는지 소재가 바뀌었는지 랜딩 페이지가 깨졌는지는 화면 밖에서 확인해야 합니다. 여기서 멈추고 답을 얻었다고 생각하면 엉뚱한 곳을 고치게 됩니다.

깊이 내려갈수록 정확해진다고 믿는 것도 흔합니다. 방향은 반대입니다. 한 번 쪼갤 때마다 칸에 남는 사람 수가 몇 분의 일로 줄고, 세 번쯤 내려가면 칸마다 수십 명만 남습니다. 그 정도 크기에서는 칸 사이 차이가 매번 다르게 나옵니다. 그런 숫자를 근거로 "30대 여성 안드로이드 사용자에게 문제가 있다" 고 정리하면, 다음 주에 같은 방식으로 쪼갰을 때 전혀 다른 칸이 튀어나옵니다.