인크리멘털리티

광고 성과는 오랫동안 기록을 세는 일로 다뤄졌습니다. 광고를 누른 사람이 뒤에 결제했으면 그 결제는 광고가 만든 것으로 적혔고, 세는 규칙을 정하는 일은 어트리뷰션이 맡았습니다. 문제는 그 기록이 인과가 아니라는 데 있었습니다. 이미 살 마음을 먹은 사람이 회사 이름을 검색해 맨 위 광고를 눌러 들어오면, 기록상으로는 광고가 만든 전환이지만 광고를 껐어도 바로 아래 검색 결과를 눌러 똑같이 결제했을 사람입니다. 광고비만 나갔는데 보고서에는 성과로 잡힙니다.

그래서 회의에서는 같은 장면이 반복됐습니다. 채널별 성과를 다 더했더니 이번 달 신규 고객 수보다 많이 나옵니다. 같은 사람이 배너도 보고 검색 광고도 눌렀으니 채널마다 자기 공으로 적어 둔 결과입니다. 그러면 대표가 묻습니다. "이 광고를 내일 끄면 매출이 얼마나 줄어듭니까." 기록에는 답이 없습니다. 끈 적이 없으니 끈 경우의 숫자가 없기 때문입니다.

인크리멘털리티는 그 없는 숫자를 일부러 만들어 보는 방식입니다. 광고를 계속 내보내는 집단과 일부러 끄는 집단을 나눠 두고 결과 차이만 광고의 몫으로 칩니다. 누가 눌렀는지를 세는 대신 광고의 유무가 결과를 바꿨는지를 재는 쪽으로 질문을 바꾼 것입니다.

같은 조건의 두 집단을 만들어 한쪽에만 광고를 내보낸 뒤, 전환 수 차이를 광고가 만든 순증분으로 봅니다. 사람을 무작위로 갈라 한쪽에만 무언가를 적용하고 결과를 비교하는 A/B 테스트와 구조가 같고, 갈라지는 대상이 화면이 아니라 광고 노출입니다.

계산은 네 단계입니다.

1. 대상을 무작위로 나눕니다. 광고를 그대로 받는 쪽이 노출군, 끄는 쪽이 대조군이고 이렇게 오래 비워 두는 집단을 홀드아웃이라고 부릅니다. 지역이나 연령으로 나누면 두 집단의 성향이 달라져 비교가 무너집니다.
2. 정해 둔 기간 동안 각 집단의 전환 수를 셉니다. 무엇을 전환으로 셀지는 전환 추적 설정을 따릅니다. 도중에 정의를 바꾸면 두 집단을 같은 자로 잰 것이 아니게 됩니다.
3. 차이를 구합니다. 노출군 50만 명에서 가입 12,000건, 대조군 50만 명에서 9,000건이면 순증분은 3,000건입니다. 나머지 9,000건은 광고를 안 봤어도 들어왔을 사람입니다.
4. 비율로 바꿉니다. 순증분 3,000건을 노출군 전환 12,000건으로 나누면 25퍼센트, 기록상 성과의 4분의 1만 실제 광고의 몫이라는 뜻입니다.

이 값으로 비용을 다시 계산하면 그림이 바뀝니다. 같은 기간 광고비가 3,600만 원이면 기록상 고객 획득 비용은 12,000건으로 나눠 3,000원이지만, 순증분으로 나누면 12,000원입니다. 예산을 늘릴지는 뒤의 숫자로 정합니다.

숫자 하나만 놓고 높다 낮다를 가를 수 없습니다. 같은 30퍼센트라도 이미 회사를 아는 사람에게 건 광고에서 나왔는지 처음 보는 사람에게 건 광고에서 나왔는지에 따라 뜻이 정반대입니다. 그래서 채널끼리 비교하는 데 씁니다.

이미 우리를 아는 사람에게 닿는 채널일수록 값이 낮습니다. 회사 이름을 그대로 검색한 사람에게 거는 검색 광고는 10퍼센트 아래로 떨어지는 일이 흔합니다. 광고를 꺼도 바로 아래 검색 결과로 들어오기 때문입니다. 우리를 모르던 사람에게 닿는 채널은 40퍼센트를 넘기도 합니다. 같은 ROAS 500퍼센트라도 앞쪽은 돈을 흘리는 자리이고 뒤쪽은 예산을 더 넣을 자리입니다.

값이 믿을 만한지는 두 가지로 봅니다. 하나는 차이가 우연으로 보기 어려울 만큼 벌어졌는지입니다. 12,000건과 11,900건의 차이는 다시 돌리면 뒤집힐 수 있어서, 통계적 유의성을 확인하기 전에는 순증분이 있다고 말하지 않습니다. 다른 하나는 기간입니다. 결정까지 2주가 걸리는 제품이면 실험도 그만큼 돌립니다. 일주일 만에 끊으면 대조군에서 늦게 들어올 사람이 빠져 값이 부풀려집니다.

측정 자체에 비용이 듭니다. 광고를 끄는 집단만큼은 매출을 확실히 포기하는 것이라, 예산의 절반을 쓰는 큰 채널부터 잽니다.

"이 채널 ROAS는 높은데 증분이 안 나와요. 브랜드 검색이라 그런 것 같습니다."

기록상 성과는 광고를 껐어도 생겼을 매출이라는 뜻입니다.

"예산 올리기 전에 2주만 홀드아웃 돌려 보죠."

일부를 일부러 비워 두고 차이를 확인한 뒤 결정하자는 제안입니다.

"지난 분기 증분 기준으로 다시 계산하면 고객 한 명에 12,000원입니다."

기록이 아니라 순증분으로 나눈 값이라 실제 부담이 네 배라는 말입니다.

페이지덱에서 이 말이 처음 나온 것은 브랜드 검색 광고를 두고서였습니다. 현우가 매달 올리던 보고서에서 그 채널은 늘 성과가 가장 좋았습니다. 회사 이름을 검색한 사람이 광고를 눌러 가입하는 경로라 전환율이 높게 잡혔습니다. 규원이 물었습니다. 광고를 끄면 저 사람들이 안 들어오느냐고요.

현우는 두 주 동안 절반의 지역에서 광고를 껐습니다. 가입 수는 4퍼센트 줄었는데, 그 채널이 기록으로 가져가던 몫은 전체의 3분의 1이었습니다. 팀은 예산을 3분의 1로 줄이고 남은 돈을 우리를 모르는 사람에게 닿는 채널로 옮겼습니다. 두 달 뒤 가입 수는 늘었고 광고비 총액은 그대로였습니다.

전환 수를 실제보다 적게 잡는 것 아니냐는 오해가 가장 흔합니다. 순증분이 기록의 4분의 1이면 나머지를 못 세고 있는 것처럼 보이니 자연스러운 반응입니다. 그러나 그 4분의 3은 놓친 성과가 아니라 광고 없이도 생겼을 성과입니다. 세는 데 실패한 게 아니라 원래 광고의 몫이 아니었습니다. 이 구분을 놓치면 순증분이 낮은 채널을 두고 측정이 잘못됐다고 결론 내리고, 돈이 새는 자리는 둔 채 추적 도구만 바꾸게 됩니다.

한 번 재면 계속 쓸 수 있는 값이라는 오해도 흔합니다. 실험 비용이 크니 나온 숫자를 오래 쓰고 싶어집니다. 하지만 이 값은 시장 상황과 인지도에 따라 움직입니다. 아무도 우리를 모를 때는 브랜드 검색 광고의 순증분이 높지만, 이름이 알려진 뒤에는 내려갑니다. 작년 값으로 올해 예산을 짜면 이미 필요 없어진 광고에 계속 돈을 넣게 됩니다. 큰 채널은 분기마다 다시 잽니다.