셀프서브 분석

데이터를 볼 수 있는 사람이 한두 명이면 회사의 모든 질문이 그 사람 앞에 줄을 섭니다. 질문 자체는 대개 간단합니다. 지난주 광고로 들어온 사람 중 유료로 바꾼 사람이 몇 명인지 같은 것들입니다.

문제는 답이 도착하는 시점입니다. 화요일에 물은 질문 앞에 여섯 건이 쌓여 있으면 답은 목요일에 옵니다. 그때 광고 예산은 이미 옮겨져 있습니다. 답이 틀린 것이 아니라 늦어서 쓸모가 없어진 것입니다.

그렇다고 각자 마음대로 보게 두는 것도 답이 아니었습니다. 같은 이름의 지표가 사람마다 다른 값으로 나오기 시작합니다. 현우가 센 활성 사용자와 지현이 센 활성 사용자가 다르면, 회의는 무엇을 할지 정하는 자리가 아니라 어느 숫자가 맞는지 따지는 자리가 됩니다. 한 시간 뒤에 남는 결론은 다시 확인해 보자입니다.

셀프서브 분석은 두 실패 사이를 갈랐습니다. 열어 주기 전에 갖춰 둘 것을 먼저 갖춥니다. 무엇을 세는지 적어 둔 정의, 사람이 읽을 수 있게 정리된 표, 누가 어디까지 볼 수 있는지 정해 둔 권한입니다. 그것이 서 있으면 각자 열어 봐도 같은 값이 나오고, 질문은 줄을 서지 않습니다.

정의와 데이터 모형과 권한을 미리 갖춰 두고, 화면과 질의 도구를 열어 각자 답을 찾게 합니다. 여섯 가지를 준비합니다.

1. 지표 정의를 한곳에 모읍니다. 활성 사용자와 전환율 같은 말이 각각 무엇을 세는지, 기간을 어디서 끊는지, 누구를 빼는지를 한 문서에 적습니다. 이 문서가 없으면 화면을 아무리 잘 만들어도 같은 이름이 세 값을 가리킵니다.
2. 데이터 모형을 정리해 둡니다. 서비스가 쓰는 원본 표를 그대로 열어 주면 아무도 쓰지 못합니다. 칸 이름이 줄임말이고 단위가 적혀 있지 않기 때문입니다. 사람이 읽을 수 있는 이름과 단위로 다시 정리한 표를 따로 만들어 그것만 보이게 합니다.
3. 권한을 나눕니다. 누가 어느 범위를 볼 수 있는지 정하고, 개인을 알아볼 수 있는 칸은 대부분의 사람에게 가립니다. 열어 주는 일과 막을 것을 정하는 일은 한 묶음이고, 막을 기준이 정해지지 않으면 여는 범위가 계속 좁아집니다.
4. 화면과 도구를 층으로 둡니다. 맨 위는 주요 지표를 모은 요약 화면이고, 그 값을 눌러 유입 경로나 요금제로 쪼개 보는 드릴다운이 그다음입니다. 거기서도 답이 안 나오면 SQL로 직접 물어봅니다. 세 층을 함께 두는 이유는 사람마다 필요한 깊이가 다르기 때문입니다. 아래 층만 있으면 대부분이 쓰지 못하고, 위 층만 있으면 이상한 줄을 발견하고도 그다음을 분석가에게 떠넘깁니다.
5. 안내와 문서를 붙입니다. 30분짜리 사용법 안내와 자주 나오는 질문의 답을 미리 화면으로 만들어 둡니다. 도구를 열어 주고 안내를 하지 않으면 세 주 뒤에 아무도 열지 않습니다.
6. 이상 탐지를 걸어 둡니다. 평소와 다른 값을 자동으로 찾아 알려 주는 기능이라, 사람이 매일 화면을 훑지 않아도 이상한 날을 놓치지 않습니다.

가장 자주 쓰이는 자리는 주간 회의입니다. 각자 자기 담당 숫자를 직접 가져오면 회의는 값을 확인하는 데서 시작하지 않고 무엇을 할지에서 시작합니다.

실험 결과를 볼 때도 각자 확인합니다. 실험을 연 사람이 집단별 값을 직접 열어 보면, 분석가에게 물어 이틀을 기다리는 대신 그날 판단할 수 있습니다.

고객을 만나는 자리에서도 씁니다. 수아가 통화 전에 그 계정의 최근 사용 기록을 직접 확인하면, 무엇을 안 쓰고 있는지 알고 들어갑니다. 예전에는 이런 확인이 요청 목록에 들어가 순서를 기다렸습니다.

분석가의 일도 바뀝니다. 질문마다 답을 만들어 주던 일이 정의와 모형과 권한을 관리하는 일로 옮겨 갑니다. 새 이벤트가 들어오면 모형에 반영하고, 정의가 흔들리는 지표를 찾아 정리합니다.

대신 남는 자리가 있습니다. 왜 그렇게 됐는지를 묻는 질문, 여러 표를 이어 붙여야 하는 질문, 인과를 가려야 하는 질문은 여전히 전문가의 일입니다. 열어 준 화면으로 답할 수 있는 것은 대체로 무슨 일이 있었는지까지이고, 왜 그런지는 그다음 사람이 이어받습니다.

"그 숫자는 대시보드에서 바로 볼 수 있어요. 요금제로 쪼개는 버튼도 있습니다."

요청 없이 답에 닿을 수 있다는 안내입니다.

"정의 문서에 활성 사용자가 어떻게 세는지 적혀 있어요. 거기 기준으로 맞추죠."

같은 이름이 다른 값을 가리키지 않게 하는 말입니다.

"이건 셀프서브로 안 나와요. 표 셋을 이어 붙여야 해서 도와주셔야 합니다."

열어 둔 도구로는 닿지 않는 질문이라는 판단입니다.

페이지덱에서는 지현이 정의 문서를 관리하고 태오가 정리된 표를 유지합니다. 요약 화면은 다섯 개뿐이고 대신 쪼개는 기준을 넉넉하게 열어 두었습니다. 개인을 알아볼 수 있는 칸은 두 사람만 볼 수 있습니다.

처음에는 원본 표를 그대로 열어 줬다가 실패했습니다. 칸 이름이 줄임말이라 아무도 쓰지 못했고, 두 주 뒤에는 질문이 다시 태오에게 몰렸습니다. 정리된 표 여섯 개를 따로 만들고 칸마다 설명을 붙인 뒤에야 사람들이 직접 열기 시작했습니다.

도구를 열어 주면 셀프서브가 된다고 보는 경우가 가장 많습니다. 계정을 나눠 주는 일이 눈에 보이는 유일한 작업이라 그렇게 읽힙니다. 하지만 정의와 정리된 표가 없는 상태에서 도구만 열면 각자 다른 값을 들고 회의에 옵니다. 그러면 예전보다 나빠집니다. 답이 늦게 오던 상태에서 답이 여러 개 오는 상태로 바뀌었을 뿐이고, 회의 시간의 절반이 숫자를 맞추는 데 들어갑니다. 열어 주는 것은 마지막 단계이고 앞의 세 단계가 실제 작업입니다.

분석가가 필요 없어진다고 보는 것도 흔합니다. 요청이 줄어드는 것이 눈에 보이니 자연스러운 오해입니다. 다만 줄어드는 것은 단순한 조회 요청이고, 그만큼 정의를 관리하고 모형을 고치고 새 이벤트를 붙이는 일이 늘어납니다. 그 일을 하는 사람이 없으면 여섯 달쯤 뒤에 정의가 흩어지고 표가 실제 데이터와 어긋나기 시작합니다. 그때는 사람들이 화면을 믿지 않게 되고, 다시 질문이 한 사람에게 몰립니다. 이 환경은 한 번 만들어 두는 것이 아니라 계속 손봐야 유지됩니다.