예측 분석

어떤 결정은 그 시점이 오기 전에 내려야 합니다. 다음 분기에 필요한 서버 용량은 트래픽이 몰린 뒤에 늘려도 늦고, 상담 인력은 문의가 쌓인 뒤에 뽑으면 교육 기간이 또 한 달입니다.

이런 결정을 지난달 값으로 대신하는 일이 흔했습니다. 페이지덱에서도 상담 인력을 지난달 문의량에 맞춰 잡았다가, 신규 유입이 두 배가 된 달에 첫 응답까지 사흘이 걸린 일이 있었습니다. 지난달 숫자는 지난달의 답입니다.

감으로 잡는 것도 답이 아니었습니다. 넉넉하게 잡으면 쓰지 않는 서버와 남는 인력에 돈이 나가고, 빠듯하게 잡으면 몰리는 달에 서비스가 무너집니다. 어느 쪽으로 틀렸는지도 다음 달이 되어야 압니다.

기록이 쌓이고 계산 도구가 흔해지면서 다른 길이 열렸습니다. 지난 12개월에서 24개월의 값을 재료로 다음 달 값을 미리 그려 보는 일입니다. 맞히는 것이 목적이 아니라, 준비할 양을 근거를 갖고 정하는 것이 목적입니다.

무엇을 얼마나 먼 앞까지 추정할지 정하고, 기록으로 모형을 만들고, 지난 기간에 맞춰 본 뒤 범위로 보고합니다.

1. 대상과 시야를 정합니다. 다음 달 문의 건수처럼 대상이 하나의 숫자로 적혀야 하고, 얼마나 먼 앞을 보는지도 같이 정합니다. 한 달 뒤와 열두 달 뒤는 같은 방법으로 낼 수 없습니다. 멀어질수록 구간이 넓어지고 어느 지점부터는 쓸모가 없어집니다.
2. 재료를 모읍니다. 최소 12개월이고, 계절을 타는 값이라면 24개월이 필요합니다. 한 해분만 있으면 12월에 오르는 것이 연말 효과인지 그해에만 있던 일인지 가릴 수 없습니다.
3. 모형을 고릅니다. 추세와 계절성만 반영하는 간단한 방법에서 시작하는 편이 낫습니다. 복잡한 방법이 늘 더 맞지는 않고, 왜 그 값이 나왔는지 설명하지 못하면 회의에서 쓰이지 않습니다.
4. 지난 기간으로 검증합니다. 최근 석 달을 가려 두고 나머지로 모형을 만든 다음, 가려 둔 석 달을 얼마나 맞히는지 봅니다. 오차를 퍼센트로 적어 두면 이 예측을 어느 정도로 믿을지가 정해집니다. 평균 오차가 30퍼센트인 모형으로 인력 계획을 세울 수는 없습니다.
5. 점이 아니라 범위로 냅니다. 다음 달 1,275건이라고 적으면 1,290건이 나온 달에 틀린 것이 됩니다. 1,150건에서 1,400건 사이라고 적으면 그 범위로 준비할 양을 정할 수 있습니다.
6. 실제 값과 대 봅니다. 매달 예측과 실제를 나란히 적어 두고, 크게 빗나간 달에는 그 이유를 한 줄 남깁니다. 이 기록이 다음 모형의 재료가 됩니다.

맞는 자리는 준비 기간이 필요한 결정입니다. 사람을 뽑거나 서버 용량을 늘리거나 재고를 잡는 일이 그렇고, 다음 분기 예산을 짤 때나 목표 숫자를 거꾸로 계산할 때도 씁니다. 공통점은 빗나가도 되돌릴 수 있다는 점입니다. 인력을 한 명 더 뽑는 결정은 조정할 여지가 있지만, 한 번 발표한 가격을 되돌리기는 어렵습니다.

한계는 넷입니다.

1. 과거에 없던 일은 추정하지 못합니다. 가격 체계를 바꾸거나 새 시장에 들어가면 지난 기록이 재료가 되지 않습니다. 이 경우에는 예측이 아니라 실험으로 확인합니다.
2. 점 하나로 보고하면 틀린 것으로만 기억됩니다. 범위로 내고 오차 폭을 함께 말해야 그 뒤의 대화가 준비할 양으로 넘어갑니다.
3. 원인을 설명하지 않습니다. 다음 달 값이 오를 것이라는 결과가 맞더라도 왜 오르는지는 이 방법이 답하지 않습니다. 그 질문은 진단 분석이 맡습니다.
4. 앞 단계를 건너뛰면 숫자놀음이 됩니다. 무슨 일이 있었는지를 기술 분석으로 정리하고 왜 그랬는지를 확인한 뒤에야 앞을 볼 수 있습니다. 순서가 뒤집히면 잘못 정의된 지표를 정교하게 예측하게 됩니다.

"다음 분기 문의량이 1,150건에서 1,400건 사이로 나옵니다. 상담 인력 한 명 더 잡죠."

범위를 준비할 양으로 바꾸는 말입니다.

"지난 석 달로 검증해 보니 오차가 28퍼센트예요. 이 값으로 채용을 정하기는 어렵습니다."

모형의 정확도를 먼저 재고 쓸지 말지 정하는 자리입니다.

"가격을 바꾸면 지난 기록은 재료가 안 돼요. 그건 실험으로 봅시다."

과거에 없던 변화에는 이 방법을 쓰지 않고 A/B 테스트처럼 나눠 보여 주는 방식을 쓴다는 판단입니다.

페이지덱에서는 지현이 분기마다 문의량과 유료 계정 수를 추정합니다. 재료는 24개월치이고, 방법은 추세와 월별 계절성만 반영하는 간단한 쪽입니다. 오차를 매달 기록해 두었는데 문의량은 15퍼센트 안쪽, 유료 계정 수는 9퍼센트 안쪽에 들어옵니다.

한 번 크게 빗나간 달이 있었습니다. 현우가 돌린 광고가 예정보다 두 주 앞당겨져 유입이 몰렸고, 예측 범위의 위쪽을 40퍼센트 넘겼습니다. 그 뒤로 광고 일정을 예측 재료에 함께 넣기로 했고, 계획에 없던 유입은 범위 밖으로 둔다고 적어 두었습니다.

세 분석 가운데 가장 앞선 단계라고 보는 경우가 가장 많습니다. 미래를 다루니 더 발전한 방법처럼 들리고, 도구 소개 자료도 대개 그런 순서로 놓습니다. 하지만 셋은 난이도 순서가 아니라 질문의 시제 순서입니다. 지난달 전환율이 얼마인지 정확히 세지 못하는 팀이 다음 달 전환율을 추정하면, 틀린 정의로 계산한 값이 나옵니다. 실무에서 도는 분석은 열에 아홉이 앞의 두 칸에 머무는데, 그것이 뒤처진 상태가 아니라 대부분의 결정이 그 두 칸으로 내려지기 때문입니다.

모형이 복잡할수록 정확해진다고 보는 것도 흔합니다. 방법 이름이 어려울수록 믿음이 가는 것은 자연스러운 반응입니다. 다만 무엇이 더 맞는지는 4번 단계에서 실제로 재 보면 나옵니다. 추세와 계절성만 쓴 값이 훨씬 복잡한 모형보다 잘 맞는 경우가 흔하고, 재료가 24개월치뿐일 때는 복잡한 모형이 그 24개월에만 지나치게 잘 맞도록 굽어 다음 달을 더 크게 틀립니다. 게다가 설명할 수 없는 값은 회의에서 근거로 쓰이지 못합니다.