브랜드 리프트

성과 광고는 결과가 바로 보입니다. 광고비 400만 원을 넣어 가입 80건이 나왔으면 한 건에 5만 원이라고 말할 수 있습니다. 브랜드 광고는 같은 문장을 만들 수 없습니다. 영상을 보고 그 자리에서 가입하는 사람은 거의 없고, 두 달 뒤 검색으로 들어와 가입한 사람이 그 광고를 봤는지는 아무도 모릅니다.

그래서 페이지덱에서도 매번 같은 대화가 반복됐습니다. 규원이 "브랜드 캠페인에 4천만 원 썼는데 뭐가 남았죠" 하고 물으면 현우는 조회수 40만 회와 댓글 수를 가져왔습니다. 그건 광고가 나간 양이지 사람들 머릿속이 바뀐 양이 아니었습니다. 답할 말이 없으니 다음 분기 예산은 재는 방법이 있는 쪽으로 옮겨 갔습니다.

조회수 대신 인식을 직접 물어보면 되지 않느냐는 생각은 쉽게 나옵니다. 문제는 캠페인 전에 한 번, 후에 한 번 묻는 방식으로는 답이 안 나온다는 데 있습니다. 그 사이에 기사가 나갔을 수도 있고 경쟁사가 광고를 끊었을 수도 있어서, 올라간 6퍼센트포인트가 누구 몫인지 가릴 수가 없습니다.

브랜드 리프트는 그 문제를 비교 대상을 만드는 방식으로 풉니다. 같은 기간에 광고를 본 사람들과 보지 않은 사람들에게 똑같은 질문을 던지고 두 답의 차이만 봅니다. 기사도 계절도 두 집단에 똑같이 작용하므로 남는 차이는 광고 몫입니다.

두 집단의 응답 비율을 빼면 끝입니다. 계산은 뺄셈 한 번이고 실제 일은 두 집단을 만드는 데 있습니다.

1. 캠페인을 돌리기 전에 대상자를 무작위로 두 집단으로 나눕니다. 한쪽에는 광고를 보여 주고, 다른 한쪽에는 같은 자리에 아무 관계 없는 광고를 보여 주거나 아예 보여 주지 않습니다. 무작위로 나누는 것은 A/B 테스트와 같은 장치입니다. 나이나 지역 같은 조건을 두 집단에 고르게 섞어, 나중에 나온 차이를 광고 말고 다른 것으로 설명할 수 없게 만듭니다.
2. 캠페인이 끝나면 두 집단에 같은 시점에 같은 질문을 던집니다. "다음 중 알고 있는 협업 문서 도구를 모두 고르세요" 같은 식입니다. 문구는 두 집단에 글자까지 같아야 합니다.
3. 두 비율을 뺍니다. 광고를 본 집단에서 34퍼센트, 보지 않은 집단에서 26퍼센트가 페이지덱을 골랐으면 리프트는 8퍼센트포인트입니다.
4. 상대값으로도 적습니다. 8을 26으로 나눈 31퍼센트가 그것입니다. 원래 낮은 숫자에서 출발하면 같은 8퍼센트포인트도 더 큰 상승으로 읽히므로 두 값을 함께 적습니다.

무엇을 묻느냐에 따라 재는 층이 달라집니다. 이름을 알려 주고 아느냐고 물으면 브랜드 인지도를 재는 것이고, 이름 없이 "협업 문서 도구 하면 떠오르는 것" 을 물으면 브랜드 회상을 재는 것입니다. 쓸 의향이나 호감도를 묻는 문항을 붙이기도 합니다. 한 번 돌릴 때 이 문항들을 같이 넣고 층별로 따로 읽습니다.

표본 수가 발목을 잡는 자리입니다. 집단당 400명이면 오차 범위가 대략 ±5퍼센트포인트라 8퍼센트포인트짜리 차이를 가려내지 못합니다. 이 정도 차이를 보려면 집단당 수천 명이 필요하고, 그래서 리프트 측정은 대개 큰 광고 플랫폼이 대신 돌려 줍니다.

바깥에서 가져온 절대 기준은 쓸 수 없습니다. 질문 문구를 조금만 바꿔도 응답률이 통째로 달라져서, 남의 캠페인에서 나온 10퍼센트포인트와 우리 8퍼센트포인트는 견줄 수 있는 숫자가 아닙니다. 기준은 같은 질문과 같은 방식으로 잰 우리 지난 캠페인입니다.

층마다 기대치가 다릅니다. 이름을 알아보는지를 묻는 인지도 쪽은 광고를 충분히 태우면 몇 퍼센트포인트씩 움직입니다. 쓸 의향을 묻는 쪽은 잘 안 움직여서 1~2퍼센트포인트만 나와도 큰 편입니다. 같은 캠페인에서 인지도 8퍼센트포인트, 의향 0퍼센트포인트가 나왔다면 실패가 아니라 원래 그런 모양입니다.

오차 범위 안에 들어오는 값은 0이 아니라 모름으로 읽습니다. 리프트가 2퍼센트포인트인데 오차 범위가 ±3퍼센트포인트라면 광고가 효과가 없었다는 뜻이 아니라 이번 측정으로는 알 수 없다는 뜻입니다. 이 둘을 섞으면 멀쩡한 캠페인을 접습니다.

캠페인끼리 견주려면 비용을 붙입니다. 4천만 원을 써서 인지도 8퍼센트포인트를 올렸다면 1퍼센트포인트에 500만 원이 든 셈이고, 이 값이 지난 분기의 800만 원보다 낮으면 이번 소재가 더 싸게 먹힌 것입니다. 한 가지 더 볼 것은 지속입니다. 캠페인이 끝나고 4주 뒤에 같은 설문을 다시 돌리면 올라갔던 값은 대체로 내려옵니다. 얼마나 남아 있는지가 소재를 고르는 근거가 됩니다.

"이번 캠페인 리프트가 인지도 기준 8퍼센트포인트 나왔습니다. 의향은 안 움직였고요."

층별로 결과가 갈렸으니 다음 소재를 어디에 맞출지 정하자는 보고입니다.

"대조군 없이 전후만 비교한 숫자는 리프트라고 부르면 안 됩니다."

광고 말고 다른 원인을 걸러내지 못한 숫자라는 지적입니다.

"표본이 집단당 400명이면 오차 범위가 리프트보다 커요. 이번엔 돌리지 맙시다."

측정 자체가 답을 줄 수 없는 조건이라 비용만 든다는 뜻입니다.

페이지덱이 분기 브랜드 캠페인을 끝낸 뒤 현우가 들고 간 표는 세 줄이었습니다. 인지도 8퍼센트포인트, 회상 2퍼센트포인트, 쓸 의향 0퍼센트포인트. 현우가 붙인 해석은 이름은 퍼졌는데 후보로 떠오르는 데까지는 못 갔다는 것이었습니다.

규원은 숫자보다 그다음 결정을 물었습니다. 지난 분기 영상은 이름과 분위기만 남기고 제품이 무엇인지는 말하지 않았는데, 다음 분기에는 "협업 문서 도구" 라는 범주와 이름을 한 화면에 붙이기로 했습니다. 회상은 이름이 어느 칸에 들어가는지가 같이 기억돼야 오르기 때문입니다.

리프트를 매출 증가로 읽는 경우가 가장 많습니다. 퍼센트로 적혀 있고 광고 결과로 나온 숫자이니 그렇게 읽기 쉽습니다. 하지만 이 값은 설문에서 손을 든 사람의 비율 차이입니다. 안다고 답하는 것과 지갑을 여는 것 사이에는 몇 달과 여러 결정이 놓여 있습니다. 이 둘을 같은 것으로 보고 예산을 짜면, 인지도 8퍼센트포인트를 매출 8퍼센트로 잡은 계획이 분기 끝에 어긋나고 그 책임이 엉뚱하게 영업 쪽으로 넘어갑니다.

리프트가 0 이면 광고가 실패했다고 읽는 것도 자주 보입니다. 표본이 작으면 있는 효과도 안 보이고, 질문이 우리 범주와 어긋나 있어도 안 보입니다. 측정 조건을 먼저 확인하고, 조건이 멀쩡할 때만 소재 탓으로 넘어갑니다.