홀드아웃

실험을 부지런히 돌리는 팀에서 이상한 일이 반복됐습니다. 한 해 동안 스무 번을 돌려 열두 번을 이겼고, 이긴 실험마다 전환율이 2퍼센트에서 5퍼센트씩 올랐다고 적혀 있었습니다. 그런데 1월의 전환율과 12월의 전환율을 나란히 놓으면 거의 같았습니다.

분기 리뷰 자리가 매번 이상해졌습니다. 발표하는 쪽은 개별 실험 결과를 근거로 성과를 말하고, 듣는 쪽은 전사 대시보드를 보면서 그럼 이 숫자는 왜 안 움직이느냐고 묻습니다. 둘 다 진짜 숫자를 보고 있는데 이야기가 만나지 않습니다. 답할 방법이 없으니 대화는 대개 측정이 잘못됐거나 시장이 나빴다는 쪽으로 흘러갔습니다.

원인은 개별 실험이 끝나는 방식에 있었습니다. 실험이 끝나면 대조군은 풀려서 새 화면을 받고, 그때부터 예전 상태를 아는 사람은 아무도 없습니다. 그다음 실험은 이미 바뀐 화면을 기준으로 다시 시작하니 비교 대상이 매번 새로 깔립니다. 홀드아웃은 이 자리에 기준선을 하나 오래 남겨 두자는 발상입니다. 1년 전 화면을 그대로 보는 사람이 남아 있으면 지금과 그때의 차이를 직접 잴 수 있습니다.

전체 사용자 중 일부를 무작위로 뽑아 실험이 끝나도 풀지 않고 예전 상태에 그대로 둡니다. 나머지 전원은 그동안 이긴 변경을 전부 받습니다.

굴리는 순서는 다섯 단계입니다.

1. 비율을 정합니다. 보통 전체의 1~5퍼센트입니다. 이 사람들은 그동안의 개선을 받지 못하니 크게 잡을수록 손해가 커지고, 작게 잡으면 차이를 잡아낼 힘이 약해집니다.
2. 무작위 배정으로 한 번 뽑고 그대로 고정합니다. 실험마다 새로 뽑으면 기준선이 매번 달라져 아무것도 누적되지 않습니다. 가입 순서나 지역으로 가르는 것도 안 됩니다. 그런 기준에는 다른 성질이 딸려 오기 때문입니다.
3. 기간을 정합니다. 분기 단위로 돌리는 팀도 있고 1년을 두는 팀도 있습니다. 쌓일 변경이 많을수록 길게 두는 쪽이 읽을 것이 많아집니다.
4. 그동안 A/B 테스트에서 이긴 변경을 전체에 적용하되 이 집단만 제외합니다. 기능이 열 개 나가는 동안 이 집단의 화면은 한 번도 바뀌지 않습니다.
5. 기간이 끝나면 두 집단의 핵심 지표를 견줍니다. 그 차이가 한 해 동안의 개선을 전부 더한 순증분입니다.

기간이 끝나면 이 집단을 풀어 주고 다음 주기를 위해 새로 뽑습니다. 같은 사람을 계속 두면 그 사람들의 제품 경험만 계속 뒤처지고, 해지율이 올라가 비교 자체가 왜곡됩니다.

한 가지 계산이 미리 필요합니다. 홀드아웃이 전체의 1퍼센트라면 그 집단의 사용자 수가 필요 표본 수를 넘는지 확인해야 합니다. 월 방문 100만 명에서 1퍼센트면 1만 명이고, 전환율 3퍼센트 언저리에서 1만 명으로 잡아낼 수 있는 차이는 대략 0.5퍼센트포인트 이상입니다. 그보다 작은 개선이 쌓인 경우라면 이 홀드아웃은 아무 차이도 못 본 채 끝납니다.

추천과 개인화에서 가장 많이 씁니다. 추천 모델은 한 해에 수십 번 바뀌고 매번 조금씩 좋아졌다는 결과가 붙는데, 그 조금들이 실제로 더해졌는지는 개별 실험으로 알 수 없습니다. 그래서 일부 사용자에게는 개인화를 끈 기본 목록을 계속 보여 주고 1년 뒤에 견줍니다.

마케팅 채널에서도 씁니다. 광고를 특정 지역이나 특정 사용자군에만 끄고 나머지와 비교하면 그 광고가 없었어도 생겼을 매출을 걷어낼 수 있습니다. 인크리멘털리티를 재는 표준적인 방법이 이 구조입니다. 광고를 끄는 동안 매출이 줄어드는 것을 감수해야 해서, 대개 한두 달로 짧게 끊습니다.

세 번째는 연간 성과 보고입니다. 한 해 동안 제품팀이 무엇을 얼마나 개선했는지를 한 숫자로 답해야 하는 자리에서 쓰입니다. 개별 실험 결과를 더해 보고하면 언제나 과장되기 때문에, 이 숫자를 함께 놓는 팀은 신뢰를 오래 유지합니다.

"올해 홀드아웃 결과 나왔어요. 개별 실험 합은 18퍼센트인데 실제 차이는 6퍼센트였습니다."

승리의 합이 실제 개선과 크게 다르다는 보고입니다.

"홀드아웃 1퍼센트로는 못 봐요. 3퍼센트로 올려야 이 정도 차이가 잡힙니다."

집단이 작아 통계적으로 판정이 안 된다는 지적입니다.

"이 기능은 홀드아웃에도 넣어야 하나요? 법적으로 필수인 건데요."

모두에게 적용해야 하는 변경은 이 집단에서도 뺄 수 없다는 확인입니다.

페이지덱에서는 지현이 지난해 1월에 전체 팀의 1퍼센트를 홀드아웃으로 묶었습니다. 그해에 문서 추천, 검색 결과 순서, 첫 화면 구성까지 열네 가지가 바뀌었고 그중 아홉 개가 이긴 실험이었습니다. 개별 결과를 더하면 주간 활성 사용자가 21퍼센트 올라야 했습니다.

12월에 재 본 실제 차이는 7퍼센트였습니다. 지현은 이 숫자를 낮은 성적이 아니라 기준선으로 보고했습니다. 어느 변경이 실제로 기여했는지 되짚어 보니 아홉 개 중 셋이 같은 사용자의 같은 행동을 서로 다른 이름으로 세고 있었고, 두 개는 첫 2주 뒤 효과가 사라진 신기 효과였습니다. 다음 해 계획에서 그 두 종류의 실험은 판정 방식부터 바뀌었습니다.

홀드아웃 결과가 개별 실험 승리의 합과 비슷해야 한다고 생각하는 경우가 많습니다. 각 실험이 제대로 설계됐다면 그 효과들이 더해질 것 같으니 자연스러운 기대입니다. 실제로는 절반에도 못 미치는 것이 보통이고, 이유는 셋입니다. 서로 다른 실험이 같은 개선을 중복으로 세는 경우, 첫 몇 주만 반짝하고 사라지는 효과, 그리고 우연히 좋게 나온 결과만 승리로 채택되며 생기는 치우침입니다. 합이 안 맞는 것은 고장이 아니라 홀드아웃이 하려던 일 그 자체입니다.

이 집단을 순수한 손해로 읽고 없애자는 판단도 흔합니다. 1퍼센트의 사용자가 1년 동안 개선을 못 받으니 계산상 매출이 조금 줄어드는 것은 맞습니다. 다만 그 대가로 얻는 것은 지난 1년의 작업이 실제로 값이 있었는지에 대한 유일한 답입니다. 이 집단을 없앤 팀은 다음 분기부터 개별 실험 결과를 더해 보고하게 되고, 그 숫자가 부풀어 있다는 사실은 보고를 받는 쪽에서 먼저 눈치챕니다.