미디어 믹스 모델링

광고 성과를 재는 일은 오랫동안 클릭을 따라가는 방식에 기대 왔습니다. 누가 어느 광고를 눌러 들어와 결제까지 갔는지를 한 사람 단위로 이어 붙이면 채널별 성과가 나옵니다. 이 방식에는 두 군데 구멍이 있습니다.

하나는 누를 것이 없는 채널입니다. 지하철 역사 광고, TV, 팟캐스트 중간 광고는 사람을 움직여도 그 사람이 나중에 검색해서 들어오니 기록에는 검색의 공으로 남습니다. 옥외 광고에 분기 예산의 3분의 1을 쓴 팀이 보고서에서는 그 항목만 빈칸인 상태가 됩니다.

다른 하나는 개인 단위 기록 자체가 줄어든 것입니다. 브라우저와 스마트폰이 추적용 표시를 막으면서, 어제 본 광고와 오늘 한 결제를 이어 붙이지 못하는 경우가 늘었습니다.

그래서 회의가 자주 같은 자리에서 멈췄습니다. 규원이 "이번 분기 광고비 1억 2천만 원 중 어디가 효과 있었어요" 라고 물으면 현우는 검색 광고와 뉴스레터 숫자는 바로 말할 수 있는데, 지하철 광고에 쓴 4천만 원에 대해서는 "매출이 오르긴 했습니다" 이상을 말하지 못했습니다.

미디어 믹스 모델링은 시선을 사람에서 기간으로 옮겨 이 문제를 피해 갑니다. 한 사람을 따라가는 대신, 주마다 각 채널에 얼마를 썼는지와 그 주의 매출이 얼마였는지를 몇 년치 쌓아 놓고 둘 사이의 관계를 통계로 추정합니다. 원래는 TV와 신문밖에 없던 시절 소비재 회사들이 쓰던 방법인데, 개인 단위 기록이 막히면서 다시 불려 나왔습니다.

다섯 단계로 돕니다. 앞의 두 단계가 전체 일의 대부분을 차지합니다.

1. 주 단위 표를 만듭니다. 한 행이 한 주이고, 열은 채널별 지출액과 그 주의 매출입니다. 보통 2년에서 3년치, 그러니까 100주가 넘는 행이 필요합니다. 행이 적으면 뒤의 계산이 아무 값이나 내놓습니다.
2. 광고 말고도 매출을 움직인 것들을 같은 표에 붙입니다. 계절, 가격을 내린 주, 명절, 경쟁사가 크게 광고한 시기, 제품에 큰 기능이 붙은 주가 여기 들어갑니다. 이걸 빼면 매년 12월 매출이 오른 것이 전부 그달 광고의 공으로 잡힙니다.
3. 관계를 식으로 추정합니다. 회귀 분석, 즉 변수 사이의 관계를 하나의 식으로 맞춰 보는 방법을 씁니다. 이때 광고에만 있는 두 가지 성질을 식에 넣습니다. 하나는 광고를 본 효과가 그 주에 끝나지 않고 몇 주에 걸쳐 흐려지며 남는다는 것이고, 다른 하나는 같은 채널에 돈을 두 배 쓴다고 성과가 두 배가 되지 않고 어느 지점부터 완만해진다는 것입니다.
4. 결과를 실험으로 맞춰 봅니다. 식이 지하철 광고의 기여도를 18퍼센트라고 내놓았다면, 실제로 한 지역에서 광고를 끄고 홀드아웃, 즉 일부러 비워 둔 비교 집단을 만들어 매출 차이를 봅니다. 둘이 크게 어긋나면 식을 고칩니다. 광고가 없었어도 생겼을 성과를 걷어내는 인크리멘털리티가 같은 논리를 씁니다.
5. 예산을 다시 나눠 봅니다. 채널마다 돈을 더 넣었을 때와 덜 넣었을 때의 예상 매출을 뽑아, 다음 분기 배분안을 만듭니다. 이 단계가 이 방법을 쓰는 실제 이유입니다.

광고비 규모가 크고, 그중 상당 부분이 클릭으로 잴 수 없는 채널에 들어가고, 지난 2~3년의 집행 기록이 주 단위로 남아 있는 회사에 맞습니다. 분기에 수억 원을 쓰면서 그 절반을 TV와 옥외에 쓰는 경우가 전형입니다. 그 규모에서는 배분을 10퍼센트만 잘 바꿔도 모델을 만드는 비용을 넘어섭니다.

한계는 네 가지입니다. 첫째, 데이터가 몇 년치 필요하니 이제 막 광고를 시작한 회사는 쓸 수 없습니다. 페이지덱처럼 집행 기록이 8개월뿐이면 행이 35주도 안 돼 계산 자체가 서지 않습니다. 둘째, 결과가 빨리 나오지 않습니다. 보통 분기에 한 번 갱신하니, 이번 주에 올린 광고를 다음 주에 끌지 말지 정하는 데는 쓰지 못합니다.

셋째, 같이 움직인 것과 원인을 구분하지 못합니다. 검색 광고와 뉴스레터를 늘 같은 주에 같이 늘렸다면 식은 둘의 몫을 나눠 주지 못하고 아무 비율이나 내놓습니다. 넷째, 나오는 값은 하나의 숫자가 아니라 범위입니다. 지하철 광고 기여도가 18퍼센트로 적혀 있어도 실제로는 12에서 24 사이라는 뜻이고, 이 폭을 빼고 읽으면 없는 정밀도를 믿게 됩니다.

"옥외까지 같이 보려면 어트리뷰션으로는 안 되고 MMM 을 돌려야 해요."

클릭이 없는 채널을 같은 표에 올리려는 제안입니다.

"이번 MMM 결과로는 뉴스레터 기여도가 생각보다 높게 나왔어요. 예산을 옮겨 볼까요."

모델의 목적인 예산 재배분으로 바로 이어지는 말입니다.

"우리 데이터로는 아직 MMM 을 못 돌립니다. 최소 2년은 쌓여야 해요."

행 수가 모자라 방법 자체가 성립하지 않는다는 뜻입니다.

페이지덱에서는 규원이 먼저 이 말을 꺼냈습니다. 지하철 역사 광고를 두 달 집행한 뒤 성과 보고를 요청했는데, 현우가 내놓은 표에서 그 항목만 값이 없었기 때문입니다. 규원은 다른 회사가 쓴다는 방법을 해 보자고 했습니다.

현우는 못 한다고 답하고 이유를 두 줄로 정리했습니다. 광고 집행 기록이 8개월뿐이라 주 단위 행이 서른 개대이고, 그 기간에 가격과 무료 플랜 조건을 한 번씩 바꿔서 매출 변화의 원인이 광고 쪽인지 제품 쪽인지 갈라낼 수 없다는 것입니다. 대신 다음 분기에 일부 노선에서만 광고를 끄고 지역별 가입 수를 비교하자고 제안했습니다. 같은 질문에 답하는 더 싼 방법이었고, 규원은 그쪽으로 결정했습니다.

이 방법이 어트리뷰션을 대체한다고 읽는 경우가 가장 많습니다. 둘 다 채널별 공을 나누는 일을 하니 하나를 고르는 문제처럼 보입니다. 하지만 답하는 질문의 크기가 다릅니다. 하나는 이번 분기 예산을 채널에 어떻게 나눌지를 다루고, 다른 하나는 어제 올린 광고 소재를 끌지 말지를 다룹니다. 큰 쪽만 남기면 매주 하는 결정이 멈추고, 작은 쪽만 남기면 클릭 없는 채널이 계속 보고서에서 빈칸으로 남습니다. 규모가 큰 팀은 둘을 같이 두고 서로 어긋날 때 실험으로 판정합니다.

나온 숫자를 확정된 사실로 읽는 것도 흔합니다. 통계로 뽑은 값이고 소수점까지 적혀 나오니 정확해 보입니다. 실제로는 같은 데이터로 식을 조금만 달리 세워도 채널별 기여도가 몇 퍼센트씩 움직입니다. 이 폭을 모르고 예산을 통째로 옮기면, 다음 분기에 매출이 떨어졌을 때 그것이 배분 탓인지 다른 이유인지 다시 알 수 없게 됩니다.