데이터 사이언티스트

회사에 데이터를 다루는 사람이 한 명뿐이던 시절, 그 사람에게 오는 질문은 대부분 지난 일에 관한 것이었습니다. 지난달 가입자가 몇 명인지, 어느 요금제가 많이 팔렸는지 같은 물음이라 이미 쌓인 기록을 세면 답이 나왔습니다.

물음이 앞을 향하는 순간 이 방식이 멈췄습니다. 페이지덱 회의에서 규원이 "다음 분기에 해지할 것 같은 팀을 미리 알 수 있나요" 하고 물었을 때 아무도 답하지 못했습니다. 해지한 계정 목록은 있었지만 그건 이미 떠난 사람들이었고, 아직 남아 있는 계정 중 누가 위태로운지는 세어서 나오는 값이 아니었습니다. 누군가 "접속이 뜸한 팀이 위험하지 않을까요" 하고 짐작을 냈지만, 접속이 뜸해도 꼬박꼬박 결제하는 팀이 적지 않아 그 기준으로 고르면 절반은 헛다리였습니다.

데이터 사이언티스트는 이 빈자리를 맡으려고 생긴 역할입니다. 세는 대신 추정합니다. 지난 2년간 해지한 계정과 남은 계정이 각각 어떤 기록을 남겼는지 통째로 놓고 비교해서, 떠나기 전에 공통으로 나타난 신호를 찾아냅니다. 사람이 기준을 하나씩 짚는 대신, 서른 개 남짓한 기록을 한꺼번에 견주게 두고 어느 조합이 실제로 갈렸는지 숫자로 확인합니다.

하루는 대개 받은 질문을 계산할 수 있는 형태로 다시 쓰는 일에서 시작합니다. 이 과정은 다섯 단계로 이어집니다.

1. 질문을 예측 문제로 바꿉니다. "해지할 것 같은 팀" 은 그대로는 계산되지 않아서 "앞으로 90일 안에 구독을 끊을 확률" 처럼 기간과 사건을 못 박아 다시 씁니다. 여기서 기간을 30일로 잡느냐 90일로 잡느냐에 따라 뒤의 작업이 전부 달라집니다.
2. 재료를 모읍니다. 애널리틱스 엔지니어가 계정 단위로 합쳐 둔 표를 가져다 쓰고, 없는 항목은 직접 만듭니다. 마지막 접속일, 지난달 문서 생성 수, 초대된 팀원 수처럼 계정 하나를 설명하는 값을 수십 개 늘어놓는 단계입니다.
3. 값을 다듬습니다. 빈 칸이 섞인 줄을 어떻게 할지 정하고, 가입 첫날 데이터만 있는 계정처럼 판단 근거가 너무 적은 줄은 빼냅니다.
4. 모델을 만들고 얼마나 맞는지 잽니다. 머신러닝을 써서 과거 기록으로 규칙을 찾게 하되, 학습에 쓴 기간과 채점에 쓸 기간을 반드시 나눕니다. 2024년 기록으로 규칙을 만들고 2025년 상반기 실제 결과로 채점하는 식입니다. 위험하다고 지목한 100개 계정 중 실제로 68개가 떠났다면 그 68퍼센트가 이 모델의 성적입니다.
5. 결과를 쓸 수 있는 형태로 넘깁니다. 매주 위험 계정 목록을 파일로 내보내는 데서 끝날 수도 있고, 제품 화면에 상시로 표시해야 한다면 머신러닝 엔지니어에게 넘겨 서비스에 태웁니다.

예측만 하는 것은 아닙니다. 절반 가까운 시간은 설명 쪽에 들어갑니다. 이번 달 이탈이 늘어난 게 실제 변화인지 그냥 달마다 있는 출렁임인지, 실험에서 나온 1.4퍼센트 차이를 차이라고 불러도 되는지 같은 판단이 여기 속합니다.

혼자 완결되는 자리가 아니라 앞뒤로 네 자리와 맞물립니다.

앞쪽에는 재료를 대 주는 사람이 있습니다. 데이터 엔지니어가 흩어진 기록을 한곳에 모아 두고, 애널리틱스 엔지니어가 그것을 계정 단위 표로 정리해 둡니다. 이 두 자리가 비어 있으면 모델을 만들기 전에 데이터를 긁어모으는 데 몇 주를 씁니다.

옆쪽에는 데이터 분석가가 있습니다. 같은 표를 보지만 답하는 질문이 다릅니다. 분석가가 "지난 분기 어느 구간에서 이탈이 늘었나" 에 답하면, 사이언티스트는 그 구간에서 무엇이 이탈을 끌어올렸는지를 갈라 봅니다.

뒤쪽에는 결과를 받아 쓰는 사람이 있습니다. 지현은 모델이 뽑은 위험 계정을 보고 어떤 안내를 언제 띄울지 정하고, 수아는 그 목록을 받아 먼저 연락할 곳을 고릅니다. 이때 넘어가는 것은 확률 숫자 하나가 아니라 "이 계정이 왜 위험하다고 나왔는지" 까지입니다. 이유가 없으면 수아가 전화를 걸어 무슨 말을 할지 정할 수 없습니다.

"이건 상관관계라서 원인이라고 말하긴 어려워요. 실험으로 확인해야 합니다."

두 값이 같이 움직인 것은 맞지만 하나가 다른 하나를 일으켰다는 근거는 아직 없다는 뜻입니다.

"모델 정확도가 68퍼센트인데, 이 정도면 전체에 돌리기보다 상위 100개만 먼저 보시는 게 나아요."

성능에 한계가 있으니 쓰는 범위를 좁혀서 시작하자는 제안입니다.

"표본이 180명이라 이 차이는 우연일 수 있어요. 2주 더 받아 보죠."

숫자 차이는 보이지만 그 차이를 결론으로 삼을 만큼 데이터가 모이지 않았다는 말입니다.

페이지덱에서는 분기 계획 회의에 이 자리가 들어갑니다. 지현이 "유료 전환이 지난 분기에 떨어진 이유를 알고 싶다" 고 하면, 사이언티스트는 먼저 그 질문을 쪼갭니다. 전환율 자체가 떨어진 것인지 유입 구성이 바뀐 것인지부터 가릅니다. 답이 "광고로 들어온 사람이 두 배로 늘었는데 그쪽 전환율이 원래 3분의 1이었다" 로 나오면, 그다음 할 일은 전환 화면을 고치는 게 아니라 현우와 광고 쪽을 보는 것으로 바뀝니다.

이 자리의 결과물은 대개 결정을 직접 내리지 않습니다. 선택지의 범위를 좁혀 줍니다.

가장 흔한 오해는 이 자리가 하루 종일 모델을 만든다고 생각하는 것입니다. 직함에 과학이 붙어 있고 바깥에 알려진 사례도 대부분 모델 이야기라 그렇게 보입니다. 실제로는 시간의 대부분이 앞 단계에 들어갑니다. 쓸 데이터를 찾고, 값이 빠진 줄을 처리하고, 두 표의 사용자 기준이 다른 것을 맞추는 일입니다. 이 사실을 모르고 사람을 뽑으면 입사 첫 달에 쓸 만한 데이터가 없다는 것을 알게 되고, 채용한 쪽은 왜 성과가 안 나오는지 이해하지 못합니다.

예측이 나오면 결정도 따라 나온다고 보는 것도 자주 나오는 오해입니다. 확률이라는 형태가 답처럼 보여서 그렇습니다. 하지만 "이 계정이 떠날 확률 72퍼센트" 는 무엇을 해야 하는지 말해 주지 않습니다. 할인을 줄지, 담당자를 붙일지, 그냥 둘지는 비용과 사람 사정을 아는 쪽이 정합니다. 이 구분이 없으면 모델이 지목한 계정에 기계적으로 할인 쿠폰이 나가고, 떠날 생각이 없던 계정까지 할인을 받으면서 매출만 깎입니다.