대조군

숫자가 올랐다는 사실만으로 변경이 성공했다고 말하던 시절이 있었습니다. 가입 버튼 문구를 바꾼 주에 전환율이 9퍼센트에서 12퍼센트로 올랐으면 문구가 좋아진 것으로 쳤습니다. 문제는 그 주에 바뀐 것이 문구만이 아니었다는 데 있습니다. 광고비가 늘었고, 신학기가 시작됐고, 경쟁사 서비스에 장애가 있었습니다.

페이지덱에서도 같은 일이 있었습니다. 현우가 가입 화면을 손본 다음 주에 숫자가 뛰자 회의에서 성과로 보고했는데, 규원이 "광고비를 두 배로 쓴 주 아니었나요" 하고 물었습니다. 그 자리에서 아무도 답을 내지 못했습니다. 올라간 3퍼센트포인트 중에 문구 몫이 얼마인지 알 방법이 남아 있지 않았기 때문입니다.

빠진 것은 데이터가 아니라 비교할 대상이었습니다. 바꾼 뒤의 숫자만 있고 바꾸지 않았다면 어떻게 됐을지를 보여 주는 숫자가 없었습니다. 대조군은 그 없는 숫자를 만들어 내려고 둡니다. 같은 기간에 같은 조건을 겪되 변화만 받지 않은 사람들을 따로 떼어 두면, 그 무리의 결과가 곧 바꾸지 않았을 때의 값이 됩니다.

들어오는 사람을 두 무리로 갈라 한쪽에만 변경을 보여 주고, 같은 기간 동안 두 무리의 결과를 나란히 재는 방식입니다. 변경을 받지 않은 쪽이 대조군이고, 두 숫자의 차이가 변경이 만든 몫입니다.

여기서 지켜야 하는 조건이 셋입니다.

1. 같은 시기여야 합니다. 이번 주 새 화면과 지난달 옛 화면을 견주면 그사이에 달라진 계절·광고·요일이 전부 결과에 섞여 들어옵니다. 두 무리는 같은 날 같은 시각에 함께 돌아야 합니다.
2. 치우침 없이 갈라야 합니다. 가입 순서나 아이디 끝자리로 나누면 한쪽에 오래된 사용자나 한 회사에서 한꺼번에 만든 계정이 몰립니다. 이 일을 맡은 절차가 무작위 배정이고, 동전 던지기에 가까운 방식으로 갈라야 두 무리의 성질이 평균적으로 닮습니다.
3. 같은 자로 재야 합니다. 두 무리에 같은 전환 정의와 같은 집계 기간을 적용합니다. 한쪽만 결제 완료를 세고 다른 쪽은 결제 시작을 세면 차이가 무엇 때문에 생겼는지 알 수 없습니다.

세 조건이 갖춰지면 대조군은 반사실을 대신하는 값이 됩니다. 반사실은 실제로 일어나지 않은 쪽의 결과, 그러니까 이 사람들에게 변경을 보여 주지 않았다면 나왔을 숫자입니다. 한 사람에게 두 세계를 동시에 살게 할 수는 없으니, 대신 성질이 닮은 다른 무리를 그 자리에 세워 두는 것입니다.

크기도 미리 정합니다. 대조군이 지나치게 작으면 차이가 있어도 우연과 구분되지 않습니다. 시작 전에 필요 표본 수를 계산해 두고, 그 값을 기간으로 바꿔 몇 주짜리 실험인지까지 정해 둡니다.

가장 흔한 자리는 A/B 테스트입니다. 두 안을 무작위로 나눠 보여 주는 실험에서 바꾸지 않은 쪽이 곧 대조군입니다. 여러 요소의 조합을 한꺼번에 견주는 다변량 테스트에서도 아무것도 바꾸지 않은 조합 하나가 기준선 자리를 지킵니다.

화면 밖에서도 씁니다. 신규 고객 열 명 중 두 명에게는 온보딩 안내 메일을 보내지 않고 남겨 두면, 그 메일이 정착률을 정말 올리는지 확인할 수 있습니다. 광고를 특정 지역에서만 끄고 나머지 지역과 견주는 방식도 같은 구조입니다. 이때 대조군은 사람이 아니라 지역이 됩니다. 영업팀이 새 가격표를 일부 고객군에만 제시하고 나머지를 옛 가격표에 두는 것도, 형태는 달라도 같은 자리에 같은 장치를 놓은 것입니다.

정하기 어려운 것은 비율입니다. 반반으로 가르는 것이 통계적으로 가장 효율이 좋지만, 변경이 확실히 나아 보이는 상황에서 절반을 옛 화면에 두기가 아깝게 느껴집니다. 그래서 90대 10처럼 기울여 가르기도 하는데, 이러면 대조군 쪽 사람 수가 적어져 같은 크기의 차이를 확인하는 데 훨씬 오래 걸립니다. 최소 검출 효과를 함께 놓고 기간을 계산해 본 뒤에 결정합니다.

"대조군 없이 전후 비교만 한 거면 이건 실험 결과가 아니라 그냥 추이예요."

숫자가 올랐다는 사실은 인정하되 변경 덕분이라는 결론은 받아들이지 않겠다는 말입니다.

"이번엔 대조군을 10퍼센트만 남기죠. 대신 판정까지 3주 걸립니다."

기준선 쪽 사람 수를 줄이는 대신 기간이 늘어난다는 맞바꿈을 설명하는 말입니다.

"대조군이랑 실험군의 가입 경로 비중이 다른데요."

무작위로 갈렸어야 할 두 무리가 실제로는 닮지 않았다는 지적이고, 배정 과정을 확인하자는 요청입니다.

페이지덱에서 지현이 결제 화면 실험을 열 때의 장면은 이렇습니다. 태오가 새 화면을 절반에게만 보여 주도록 설정하고, 지현이 시작 전에 무엇을 전환으로 셀지와 며칠 뒤에 판정할지를 문서에 적어 둡니다. 2주 뒤 대조군 전환율이 11.2퍼센트, 실험군이 12.8퍼센트로 나왔습니다.

이 1.6퍼센트포인트가 회의의 시작점이 됩니다. 두 무리 모두 같은 기간에 같은 광고를 맞았으니 광고비 얘기는 나오지 않습니다. 남은 질문은 이 차이가 우연히 벌어질 수 있는 크기인지 하나뿐이고, 그건 계산으로 답이 나옵니다.

대조군에 넣은 사람은 손해를 본다고 여기는 경우가 많습니다. 더 나은 화면을 못 보고 있으니 그만큼 기회를 버렸다는 생각입니다. 이 생각이 자연스러운 이유는 변경이 나을 것이라고 이미 믿고 있기 때문인데, 실제로 돌려 보면 실험의 상당수는 차이가 없거나 오히려 나쁜 쪽으로 끝납니다. 어느 쪽이 나은지 모르는 상태라서 실험을 여는 것이고, 대조군은 전체에 나쁜 변경을 미는 사고를 절반 규모에서 멈춰 세우는 장치입니다.

지난달 숫자를 대조군 대신 쓸 수 있다고 보는 것도 흔합니다. 이미 있는 데이터라 사람을 따로 떼어 둘 필요가 없어 보이니 매력적입니다. 하지만 지난달과 이번 달 사이에는 변경 말고도 계절·요일 구성·광고 집행·경쟁 상황이 전부 달라져 있습니다. 그 차이를 변경의 효과로 읽으면 실제로는 효과가 없는 변경을 전체에 밀게 되고, 다음 분기 계획이 그 잘못된 숫자 위에 세워집니다. 전월 대비 수치가 쓸모없다는 뜻은 아니고, 무엇이 달라졌는지 살피는 데는 여전히 쓰입니다. 다만 그 수치는 인과를 말해 주지 못합니다.