A/B 테스트

무엇을 내보낼지 회의실에서 정하던 시절에는 결론이 대개 목소리로 갈렸습니다. 가입 버튼 문구를 "무료로 시작하기" 로 할지 "지금 만들어 보기" 로 할지를 놓고 한 시간을 쓰고, 마지막에는 가장 직급이 높은 사람의 취향으로 정해졌습니다. 그 결정이 옳았는지는 끝내 아무도 몰랐습니다. 바꾼 뒤에 가입이 늘면 문구 덕이라고 말했고, 줄면 계절 탓을 했습니다.

바꾸기 전과 후를 견주는 방법도 오래 쓰였지만 여기에는 구멍이 있습니다. 지난달과 이번 달 사이에 바뀐 것이 문구만은 아니기 때문입니다. 광고비가 늘었을 수도 있고, 경쟁사가 가격을 올렸을 수도 있고, 방학이 시작됐을 수도 있습니다. 가입이 8퍼센트 늘었다는 사실은 남지만 그 8퍼센트가 어디서 왔는지는 남지 않습니다.

A/B 테스트는 비교의 축을 시간에서 사람으로 옮겨 이 구멍을 막습니다. 같은 시각에 들어온 사람들을 반으로 갈라 한쪽에는 예전 문구를, 다른 쪽에는 새 문구를 보여 줍니다. 두 무리가 겪는 바깥 사정은 똑같으니, 끝나고 나서 두 무리 사이에 차이가 남아 있다면 그 차이를 만든 것은 문구뿐입니다.

한 번의 실험은 여섯 단계로 돕니다. 앞의 세 단계는 화면을 나누기 전에 끝내 둡니다.

1. 무엇을 바꾸고 어떤 숫자가 움직일지를 한 문장으로 적습니다. 바꿀 것 하나와 볼 지표 하나를 짝지어 두는 것입니다. 지표를 미리 정하지 않으면 끝난 뒤에 올라간 숫자를 골라 승리로 부르게 됩니다.
2. 최소 검출 효과를 정합니다. 얼마나 벌어져야 화면을 바꿀 값어치가 있는지 미리 못 박는 값입니다. 가입률이 4퍼센트에서 4.4퍼센트로 오르는 정도면 바꾸겠다고 합의했다면 이 값은 0.4퍼센트포인트입니다.
3. 필요 표본 수를 계산해 기간으로 바꿉니다. 작은 차이까지 보려 할수록 모아야 하는 사람이 가파르게 늘어납니다. 한 무리에 8,000명이 필요한데 하루 방문이 1,000명이면 반씩 나눠 넣으므로 16일짜리 실험입니다.
4. 무작위 배정으로 두 무리를 나눕니다. 예전 화면을 그대로 보는 쪽이 대조군이고 바꾼 화면을 보는 쪽이 실험군입니다. 가입 순서나 아이디 끝자리로 가르면 안 되는 이유는 그런 기준에 다른 성질이 딸려 오기 때문입니다.
5. 정해 둔 날짜까지 그대로 둡니다. 중간 숫자를 들여다보다 한쪽이 앞서는 순간에 멈추면 조기 확인 문제에 걸립니다. 표본이 적을 때 두 숫자는 크게 출렁이고, 계속 보고 있으면 어느 시점에는 반드시 한쪽이 앞섭니다.
6. 판정하고 기록합니다. 통계적 유의성은 이만한 차이가 우연으로 나올 법한지를 따지는 기준으로, 보통 우연일 확률이 5퍼센트 아래면 우연으로 보기 어렵다고 판정합니다. 이긴 실험이든 진 실험이든 가설과 결과를 한 곳에 남겨 둡니다.

한 번에 한 가지만 바꾸는 것이 원칙입니다. 버튼 색과 문구를 함께 바꾸면 결과가 갈려도 둘 중 무엇 때문인지 말할 수 없습니다.

세 조건이 함께 맞을 때 잘 돌아갑니다. 사람이 충분히 들어오고, 바꾸는 것이 작고, 보려는 결과가 며칠 안에 나오는 경우입니다. 가입 화면 문구, 가격표 배치, 알림 메일 제목처럼 하루에 수천 명이 지나가고 결과가 그 자리에서 확인되는 자리가 여기에 해당합니다.

한계는 대부분 표본에서 옵니다. 기업 고객 40개사를 상대하는 팀이 계약서 화면을 반으로 갈라 보면 한 무리에 20개사가 들어가는데, 이 정도로는 차이가 두 배로 벌어져도 우연과 구분되지 않습니다.

효과가 늦게 나타나는 변화도 이 방법으로 다루기 어렵습니다. 가격 정책을 바꾸면 그 영향은 해지율에 6개월에 걸쳐 나타나는데, 그동안 두 무리를 계속 갈라 둘 수는 없습니다. 어느 시장을 공략할지 같은 큰 방향도 두 안으로 갈라 물을 수 있는 문제가 아닙니다.

마지막으로 이 방법은 어느 쪽이 나은지만 알려 주고 왜 그런지는 알려 주지 않습니다. 이유가 궁금하면 사용자에게 따로 물어야 합니다.

"이거 그냥 A/B 돌려 보죠. 2주면 답 나올 것 같은데요."

의견으로 다투지 말고 실험으로 정하자는 제안입니다. 다만 2주 만에 답이 나오는지는 표본 계산을 해 봐야 압니다.

"표본이 안 나와서 이번 건은 실험 없이 그냥 내보내기로 했어요."

방문이 적어 차이를 가려낼 수 없으니 실험을 접고 판단으로 결정했다는 뜻입니다.

"유의하게 나오긴 했는데 차이가 0.2퍼센트포인트예요."

우연으로 보기 어렵다는 판정은 받았지만 그만한 차이로 화면을 바꿀 값어치가 있는지 되묻는 말입니다.

페이지덱에서는 가격 페이지 문구를 두고 이 실험이 돌았습니다. 현우가 "지금 시작하기" 와 "14일 무료로 써 보기" 두 안을 만들어 왔고, 지현이 볼 지표를 가입 완료율 하나로 못 박고 최소 검출 효과를 0.5퍼센트포인트로 잡았습니다. 계산해 보니 필요한 기간이 18일이었고, 태오가 배정 코드를 심어 반씩 나눴습니다.

18일 뒤 결과는 무승부였습니다. 두 안의 가입 완료율 차이가 우연으로 나올 만한 범위 안이었습니다. 지현은 이 결과를 실험 기록에 그대로 남겼습니다. 여덟 달 뒤 누군가 같은 제안을 꺼냈을 때 이미 해 봤고 차이가 없었다는 사실을 바로 확인하게 하려는 것입니다.

실험을 돌리면 둘 중 하나가 이긴다고 생각하기 쉽습니다. 승자를 가리는 장치라는 이름이 그런 기대를 만듭니다. 실제로는 대부분의 실험이 무승부로 끝납니다. 회사에 따라 다르지만 뚜렷한 승리로 끝나는 비율은 열에 한둘 정도입니다. 이 사실을 모르면 무승부가 나올 때마다 실험을 잘못 돌렸다고 의심하며 기준을 느슨하게 바꾸게 되고, 그렇게 걸러 낸 승리는 대개 다음 분기에 사라집니다. 무승부는 실패가 아니라 그 자리를 더 파지 않아도 된다는 답입니다.

첫 며칠 숫자만 보고 판단하는 것도 흔합니다. 바뀐 화면은 기존 사용자에게 눈에 띄기 때문에 눌러 보는 사람이 늘어 초반 지표가 뜁니다. 신기 효과라고 부르는 현상인데, 2주쯤 지나면 원래 자리로 내려오는 일이 많습니다. 사흘 치 숫자로 승리를 선언하면 실제로는 아무것도 얻지 못한 변경을 전체 사용자에게 밀어붙이게 됩니다.