소재 테스트

광고 문구는 오랫동안 회의실에서 정해졌습니다. 마케터가 다섯 개를 써 오고, 팀장이 그중 마음에 드는 하나를 고르고, 그 하나에 분기 예산이 붙었습니다. 고르는 근거는 대체로 "이게 더 와닿는데요" 였습니다. 문제는 광고를 볼 사람이 그 회의실에 없다는 것입니다.

페이지덱에서도 그렇게 고른 문구 하나로 두 달을 돌린 적이 있습니다. 현우가 "팀 문서를 한곳에" 라는 문장을 골랐고, 아무도 반대하지 않았습니다. 두 달 동안 클릭률은 0.9퍼센트에 머물렀는데, 클릭률은 광고가 화면에 뜬 횟수 가운데 실제로 눌린 비율입니다. 성과가 나쁘자 팀은 광고 타기팅, 곧 광고를 누구에게 보여 줄지 정하는 설정부터 손봤습니다. 대상을 바꿔도 숫자는 거의 그대로였습니다.

나중에 문구를 하나 더 만들어 같은 조건에서 나란히 돌려 보고 나서야 원인이 드러났습니다. "회의 끝나기 전에 회의록이 완성됩니다" 라는 문장은 같은 대상에게 같은 예산으로 2.1퍼센트를 냈습니다. 두 배가 넘는 차이가 문장 하나에서 나온 것입니다. 소재 테스트는 이 차이를 회의가 아니라 실제 반응으로 가리자고 만든 절차입니다.

한 번 돌리는 데 대개 5일에서 2주가 걸립니다. 순서는 이렇습니다.

1. 가설 세우기 — 무엇을 확인할지 한 문장으로 적습니다. "기능을 말하는 문구보다 결과를 말하는 문구가 더 눌린다" 처럼 씁니다. 이 문장이 없으면 어느 소재가 이겨도 다음에 무엇을 만들지 알 수 없습니다.
2. 변형 만들기 — 가설을 확인할 소재를 3~5개 만듭니다. 한 번에 여러 곳을 바꾸지 않습니다. 문구를 비교하려면 이미지는 같게 두고, 이미지를 비교하려면 문구를 같게 둡니다. 둘을 함께 바꾸면 이긴 쪽이 문구 덕인지 이미지 덕인지 알 수 없습니다.
3. 같은 조건으로 돌리기 — 같은 대상, 같은 예산, 같은 기간에 동시에 내보냅니다. 순서대로 한 주씩 돌리면 요일과 시즌의 영향이 섞여 비교가 무너집니다.
4. 충분히 기다리기 — 소재마다 최소 몇천 회 노출과 수십 건의 전환이 쌓일 때까지 둡니다. 노출 200회에서 3퍼센트와 1퍼센트가 나왔다면 그 차이는 대개 우연입니다. 미리 기준을 정해 두면 그 차이가 통계적 유의성, 곧 우연으로 보기 어렵다고 판단하는 선을 넘었는지 가리기 쉽습니다.
5. 정리하고 다음으로 — 진 소재를 끄고 예산을 이긴 쪽에 몰아준 다음, 이긴 이유를 다음 가설로 옮깁니다. 결과를 기록해 두지 않으면 반년 뒤에 같은 테스트를 다시 합니다.

숫자는 광고 지표 가운데 무엇을 볼지 미리 정합니다. 클릭률만 보면 자극적인 문구가 이기는데, 그렇게 데려온 사람은 가입하지 않습니다. 클릭률과 가입 한 건당 비용을 함께 놓고 봅니다.

예산이 이미 돌고 있고 노출이 충분히 나오는 상황에 맞습니다. 하루 광고비가 3만 원이면 소재 네 개에 나눠 봐야 각각 노출 몇백 회라서, 2주를 기다려도 결론이 안 납니다. 소재 테스트를 하려면 소재 하나당 하루 몇만 원은 붙일 수 있어야 하고, 그게 안 되면 소재를 두 개로 줄이거나 입찰 전략부터 정리하는 편이 낫습니다.

효과가 가장 큰 자리도 정해져 있습니다. 클릭률이 낮을 때입니다. 노출은 충분한데 아무도 누르지 않는 상황이면 문제는 소재에 있을 가능성이 높습니다. 반대로 클릭은 잘 오는데 가입이 없다면 소재가 아니라 도착한 랜딩 페이지, 곧 행동 하나를 유도하려고 만든 단독 페이지를 봐야 합니다.

결과의 수명도 짧습니다. 이긴 소재도 광고 피로도 때문에 오래가지 못합니다. 같은 사람이 같은 광고를 거듭 보면 반응이 떨어져서, 2.1퍼센트를 내던 소재가 다섯 번째 노출 즈음에는 0.8퍼센트로 내려앉습니다. 그래서 소재 테스트는 한 번 하고 끝내는 일이 아니라 2~4주마다 도는 일입니다.

마지막 한계는 배운 것이 옮겨 가지 않는다는 점입니다. 피드 광고에서 이긴 문구가 검색 광고에서도 이기지는 않습니다. 광고 유형마다 보는 사람의 상태가 다르기 때문입니다. 검색창에 직접 검색어를 친 사람은 이미 찾는 중이고, 피드를 넘기던 사람은 아무것도 찾고 있지 않았습니다.

"이번 주에 소재 네 개 붙여서 돌려 보고 다음 주에 정리할게요."

같은 조건으로 비교 실험을 걸어 두고 한 주 뒤 결과로 예산을 몰겠다는 뜻입니다.

"소재 테스트 결과 나왔는데, B안이 클릭률은 높은데 가입당 비용은 A안이 낫습니다."

어느 숫자를 기준으로 삼을지 먼저 합의하자는 신호입니다.

"소재가 다 비슷비슷해서 테스트가 의미가 없어요."

변형끼리 차이가 작아 결과가 갈리지 않는다는 뜻이고, 더 과감한 안을 섞자는 제안입니다.

현우가 이 실험을 돌리는 자리에는 지현과 민서가 같이 앉습니다. 문구 후보는 대체로 제품이 무엇을 해 주는지에서 나오고, 이미지는 디자인 쪽에서 만들기 때문입니다. 결과가 나오면 이긴 문장이 광고 밖으로 나가는 일도 자주 생깁니다. "회의 끝나기 전에 회의록이 완성됩니다" 가 광고에서 이기면 그 문장이 홈페이지 첫 화면과 가입 안내 메일에도 옮겨 갑니다.

소재를 많이 만들수록 좋다고 여기는 경우가 많습니다. 후보가 많으면 그중에 대박이 있을 것 같으니 자연스러운 생각입니다. 하지만 예산은 그대로인데 소재만 늘면 각각에 돌아가는 노출이 줄어 어느 것도 결론이 나지 않습니다. 하루 20만 원으로 소재 열 개를 돌리면 열 개 모두 노출 몇백 회에 머물러 2주 뒤에도 승자를 못 고릅니다.

한 번 이긴 소재를 정답으로 굳히는 것도 흔합니다. 숫자로 이겼으니 근거가 확실해 보입니다. 다만 그 결과는 그때 그 대상, 그 계절, 그 경쟁 상황에서의 답입니다. 반년 뒤 같은 소재를 다시 걸면 대개 예전만큼 나오지 않습니다. 그래서 소재 테스트의 산출물은 이긴 소재 하나가 아니라 "결과를 말하는 문구가 기능을 말하는 문구보다 잘 먹힌다" 같은 가설이어야 합니다. 소재는 낡아도 가설은 다음 소재를 만드는 데 계속 쓰입니다.