A/B 테스트 도구

화면을 어떻게 바꿀지는 오랫동안 회의실에서 정해졌습니다. 가격 페이지의 버튼 문구를 "무료로 시작하기" 로 할지 "14일 무료 체험" 으로 할지를 두고 다섯 명이 각자 근거를 대면, 대개 직급이 높거나 목소리가 큰 쪽의 안이 올라갔습니다. 틀렸다는 것을 확인할 방법이 없으니 한 달 뒤 같은 논쟁이 처음부터 다시 벌어졌습니다.

숫자로 가려 보려는 시도는 있었습니다. 이번 주에는 기존 문구를 걸어 두고 다음 주에 새 문구로 바꾼 다음 전환율을 견주는 방식입니다. 전환율은 화면에 들어온 사람 가운데 목표한 행동까지 간 사람의 비율을 말합니다. 문제는 두 주가 같은 조건이 아니라는 데 있습니다. 둘째 주에 광고 예산이 늘었거나 연휴가 끼었으면 그 영향이 문구 효과와 뒤섞여서, 올라간 0.4퍼센트포인트가 무엇 때문인지 아무도 답하지 못합니다.

같은 기간에 사람을 반씩 갈라 동시에 보여 주면 이 문제는 사라집니다. 대신 나누는 일과 세는 일이 손에 남는데, 이쪽이 만만치 않습니다. 같은 사람이 새로고침할 때마다 다른 화면을 보면 결과가 뒤섞이고, 한쪽에 2,300명 다른 쪽에 1,900명이 들어간 채로 비율만 견주면 기울어진 비교가 됩니다. 마지막 단계는 더 어렵습니다. 전환율이 3.1퍼센트와 3.4퍼센트로 나왔을 때 이 차이를 차이라고 불러도 되는지는 몇 명이 들어왔는지에 따라 달라지는데, 그 계산을 매번 손으로 하면 대개 틀립니다.

이 도구가 사람 대신 맡는 일은 셋입니다.

1. 나누기 — 들어온 사람마다 동전을 던지듯 집단을 정합니다. 오전에 온 사람은 A, 오후에 온 사람은 B 처럼 규칙으로 가르면 두 집단의 성격 자체가 달라져서, 나중에 나온 차이가 화면 때문인지 사람 때문인지 구분할 수 없게 됩니다.
2. 붙잡아 두기 — 한 번 A 집단에 들어간 사람은 새로고침을 해도, 사흘 뒤 다시 들어와도 계속 A 화면을 봅니다. 브라우저에 표식을 남겨 같은 사람을 알아보는 방식이라, 표식이 남지 않는 시크릿 창이나 다른 기기에서는 같은 사람이 새 사람으로 잡힙니다.
3. 판정하기 — 통계적 유의성을 대신 계산합니다. 통계적 유의성은 두 집단의 차이가 우연만으로도 나올 만한 크기인지 아닌지를 가르는 기준입니다. 도구는 두 집단의 인원과 전환 수를 받아 이 판정을 내려 주고, 아직 판정하기에 이른 상태면 필요 표본 수까지 몇 명이 남았는지 알려 줍니다.

기록이 남는 것도 도구 쪽 몫입니다. 어떤 안을 언제부터 언제까지 몇 명에게 보여 줬고 결과가 얼마였는지가 자동으로 쌓입니다. 반년 뒤 같은 아이디어가 다시 올라왔을 때 이미 해 봤다고 답할 근거가 여기서 나옵니다. 실험을 여러 개 동시에 돌릴 때 한 사람이 두 실험에 겹쳐 들어가지 않도록 막는 일도 도구가 합니다.

도구를 붙이지 않고 실험을 돌리는 길도 있습니다. 셋이 흔합니다.

1. 피처 플래그로 직접 나누기 — 피처 플래그는 배포한 코드에서 기능만 켜고 끄는 스위치입니다. 이미 쓰고 있다면 사용자 번호를 반으로 갈라 한쪽에만 새 화면을 켜는 식으로 배분을 흉내 낼 수 있습니다. 나누기는 해결되지만 판정이 남아서, 결과는 웹 분석 도구나 분석용 저장소에서 직접 세어 계산해야 합니다.
2. 이벤트를 쌓아 두고 분석가가 계산 — 누가 어느 집단이었는지를 기록으로 남겨 두면 분석가가 나중에 집단별 전환율과 유의성을 함께 계산할 수 있습니다. 판정의 품질은 이쪽이 가장 높지만 한 건마다 분석가의 며칠이 들어가서, 한 달에 한두 건 넘게는 늘리기 어렵습니다.
3. 그냥 바꾸고 전후를 견주기 — 가장 흔하고 가장 약한 방법입니다. 바꾼 주와 그 전 주를 비교하는 것이라 계절과 캠페인이 다시 섞여 들어옵니다. 다만 하루 방문이 200명뿐이라면 둘로 갈라도 판정이 나올 인원이 모이지 않으므로, 이럴 때는 전후 비교가 그나마 남는 선택입니다.

고르는 기준은 대개 빈도입니다. 분기에 한 번 화면을 손보는 팀이라면 도구 값이 아깝고, 매주 실험을 올리는 팀이라면 분석가를 기다리는 시간이 더 비쌉니다.

"이번 문구는 A/B 테스트 도구에 걸어 두고 다음 주에 봅시다."

지금 회의에서 정하지 말고 숫자가 모일 때까지 두자는 제안입니다.

"도구에서 아직 유의하지 않다고 나와요. 3천 명은 더 필요하대요."

지금 보이는 차이는 우연으로도 나올 수 있는 크기라 승자를 정하면 안 된다는 뜻입니다.

"이건 도구로 못 나눠요. 로그인 뒤 화면이라 서버에서 갈라야 해요."

화면에 스크립트를 심어 겉모습만 바꾸는 방식으로는 다룰 수 없는 영역이라는 말입니다.

페이지덱에서 이 도구를 가장 자주 여는 사람은 현우입니다. 랜딩 페이지의 첫 문장을 바꾸자는 이야기가 나오면 두 안을 도구에 올리고 방문자를 반씩 나눈 뒤, 판정이 나올 때까지 화면을 건드리지 않습니다. 이틀째에 한쪽이 앞서 보여도 그대로 둡니다. 초반 며칠은 숫자가 크게 흔들려서, 이때 멈추면 우연히 앞선 쪽을 승자로 뽑게 되기 때문입니다.

판정이 나온 뒤는 지현의 자리입니다. 이긴 문구를 제품 안쪽 화면에도 옮길지, 이 결과가 광고로 들어온 사람에게만 해당하는지를 정합니다. 도구는 어느 쪽이 높았는지까지만 답합니다.

도구를 붙이면 실험이 시작된다고 생각하는 경우가 가장 많습니다. 화면에 실험 목록과 승률이 뜨니 그렇게 보일 만합니다. 실제로 도구가 맡는 것은 나누기와 판정이고, 무엇을 왜 바꿔 볼지는 여전히 사람이 정합니다. 가설 없이 버튼 색만 계속 바꿔 보면 도구에는 실험 40건이 쌓이지만 그중 유의한 결과는 두세 건이고, 그 두세 건마저 왜 이겼는지 설명이 안 돼서 다음 실험으로 이어지지 않습니다.

승자가 나올 때까지 매일 들여다보면 된다는 생각도 자주 봅니다. 숫자가 실시간으로 갱신되니 자연스러운 습관입니다. 그런데 판정 기준은 미리 정한 인원이 다 모인 뒤 한 번 보는 것을 전제로 만들어져 있어서, 매일 보다가 유의하다고 뜬 순간 멈추면 우연히 튄 날을 결과로 확정하게 됩니다. 이렇게 고른 승자는 적용한 뒤 전환율이 원래대로 돌아오고, 그 일이 두어 번 반복되면 팀은 도구의 숫자를 아예 믿지 않게 됩니다.