데이터 분석가

제품을 만드는 결정은 오랫동안 회의실에서 가장 확신에 찬 사람의 감으로 났습니다. "요즘 사용자는 단계가 길면 안 해요" 라는 말에 반박할 근거가 없으면 그대로 정해지고, 반년 뒤 그 판단이 맞았는지 확인하는 사람도 없었습니다.

숫자를 보기 시작한 뒤에도 문제는 남았습니다. 같은 회의에 매출 숫자가 세 개 들어왔습니다. 영업은 계약서, 재무는 입금, 제품팀은 결제 로그를 기준으로 셌습니다. 어느 것도 틀리지 않았는데 세 숫자가 다르니 회의는 다시 감으로 돌아갔습니다.

데이터 분석가는 이 둘을 함께 맡으려고 생긴 자리입니다. 숫자로 답하는 일과, 그 숫자가 무엇을 센 것인지 하나로 정해 두는 일입니다. 현황을 판단하려고 정의해 둔 숫자를 지표라고 하는데, 정의하는 일이 계산하는 일보다 먼저이고 대개 더 어렵습니다. 활성 사용자를 한 번이라도 접속한 사람으로 볼지 문서를 만든 사람으로 볼지에 따라 같은 달 숫자가 12만과 4만으로 갈립니다.

받는 것은 대개 정리되지 않은 질문입니다. "지난 분기에 이탈이 늘었는데 왜 그런지 봐 주세요" 가 출발점이고, 답까지 다섯 단계를 거칩니다.

1. 질문을 좁힙니다. 이탈이 무엇을 뜻하는지, 어느 기간의 어떤 사용자인지 되짚습니다. 여기서 답이 필요 없어지는 질문도 나옵니다.
2. 데이터를 꺼냅니다. 저장소에 질의를 써서 필요한 줄을 뽑는 작업이고, 실무에서는 SQL 이라는 언어를 씁니다. 원하는 표가 그대로 있는 경우는 드물어서, 결제와 접속 기록이 다른 곳에 있으면 붙이는 일부터 합니다.
3. 값을 의심합니다. 결제 금액이 빈 줄이 섞였는지, 같은 사용자가 두 줄로 들어갔는지 봅니다. 3월에 접속이 40퍼센트 줄었다면 사용자가 떠난 게 아니라 그달에 수집 코드가 빠진 것일 수 있습니다. 이 단계를 건너뛰면 틀린 답이 자신 있게 나옵니다.
4. 뜻을 끌어냅니다. 같은 시기에 들어온 사용자끼리 묶어 추적하거나, 가입부터 결제까지 단계마다 몇 명이 남는지 세는 식입니다. 자주 쓰는 틀은 분석 기법에 있습니다.
5. 전달합니다. 숫자를 그대로 넘기지 않고 무엇을 하면 되는지까지 씁니다. "2주차 이탈 31퍼센트" 가 아니라 "첫 문서를 만들지 않은 계정에서만 이탈이 두 배이니 가입 직후 안내를 붙이면 됩니다" 입니다.

같은 질문이 매주 반복되면 사람이 다시 답하지 않고 주요 지표를 한 화면에 모은 대시보드로 옮깁니다. 잘 만들었는지는 숫자 개수가 아니라 보고 나서 할 일이 갈리느냐로 정해집니다.

분석으로 답이 안 나오는 질문도 있습니다. 이미 벌어진 일에서는 함께 움직인 것만 보이고 무엇이 무엇을 일으켰는지는 안 보입니다. 그때는 사용자를 무작위로 갈라 한쪽에만 바꾼 화면을 보여 주는 실험을 설계합니다.

질문을 가장 많이 가져오는 쪽은 프로덕트 매니저입니다. 무엇을 왜 만들지 정하고 출시까지 책임지는 자리라 결정마다 근거가 필요합니다. 어긋나는 흔한 모양은 분석가가 요청 목록을 처리하는 창구가 되는 것인데, 질문이 왜 필요한지를 같이 듣지 못하면 답은 나오는데 쓰이지 않습니다.

데이터를 꺼내 쓸 수 있게 미리 정리해 두는 쪽은 애널리틱스 엔지니어입니다. 결제와 가입과 접속 기록을 계정 단위로 합쳐 표 하나로 만들어 두면 같은 계산을 매번 새로 짜지 않아도 되고, 이 자리가 없으면 분석가가 그 일까지 합니다. 흩어진 원천을 한곳으로 옮기는 흐름인 데이터 파이프라인이 어젯밤 실패하면 오늘 아침 숫자가 전부 어긋납니다.

예측이 필요한 질문은 어떤 계정이 석 달 안에 떠날지 같은 물음이고, 데이터 사이언티스트에게 넘어갑니다. 그 모델을 실제 서비스에 올려 매일 돌아가게 하는 일은 머신러닝 엔지니어의 몫이고, 현황을 정기 리포트로 조직에 돌리는 일은 BI 담당자가 맡습니다.

마흔 명 안팎인 회사에서는 이 다섯이 한 사람입니다. 사람이 늘 때 가장 먼저 갈라져 나오는 쪽은 애널리틱스 엔지니어인데, 분석가 셋이 각자 방식으로 매출을 계산하면 회의에 매출이 다시 세 개 들어오기 때문입니다.

"그 숫자 어떻게 센 거예요? 활성 기준이 저희랑 다른 것 같은데요."

같은 이름의 지표가 두 정의로 돌고 있다는 신호입니다.

"이건 분석으로는 답이 안 나와요. 실험을 돌려야 알 수 있습니다."

과거 데이터에서 인과를 읽어 달라는 요청을 거절하는 말입니다.

"3월 수치는 그대로 쓰면 안 됩니다. 그달에 수집 코드가 빠져 있었어요."

데이터 자체를 믿을 수 없는 구간이 있다는 경고입니다.

페이지덱에서 무료 사용자의 유료 전환율이 두 달째 떨어졌을 때 지현이 받은 질문은 "전환율이 왜 떨어졌나요" 한 줄이었습니다. 먼저 한 일은 질의가 아니라 되묻기였습니다. 전체인지 신규 가입자만인지, 전환 시점을 결제일로 볼지 플랜 변경일로 볼지를 정했습니다.

숫자를 뽑아 보니 전체는 떨어졌는데 가입한 달별로 나누면 어느 집단도 떨어지지 않았습니다. 광고를 늘려 가입자가 늘었고, 그 경로로 들어온 사람들이 원래 전환율이 낮았습니다. 제품이 나빠진 게 아니라 들어오는 사람의 구성이 바뀐 것이었고, 지현은 경로별 전환율을 따로 보자는 제안을 붙여 전달했습니다.

질의를 대신 써 주는 사람으로 이해하는 경우가 가장 많습니다. 눈에 보이는 산출물이 표와 그래프라서 도구 다루는 기술이 전부처럼 보이기 때문입니다. 하지만 시간이 가장 많이 드는 곳은 질문을 좁히는 1단계와 값을 의심하는 3단계이고, 둘 다 도구가 아니라 제품과 데이터의 사정을 알아야 합니다. 요청대로만 뽑아 주는 자리로 두면 회의마다 숫자는 늘어나는데 결정은 그대로입니다.

분석가가 결정을 내려 준다고 읽는 오해도 있습니다. 근거를 만드는 자리이니 답까지 나올 것 같지만 숫자는 선택지를 좁혀 줄 뿐입니다. 전환율이 낮은 경로를 찾아 줄 수는 있어도 그 경로에 돈을 계속 쓸지는 회사가 무엇을 노리는지에 달렸습니다. 분석가에게 결정까지 떠넘기면 책임은 옮겨 가는데 그 결정을 뒤집을 권한은 따라가지 않습니다.