실험군

화면을 바꾼 효과를 확인하는 방법은 오랫동안 전후 비교였습니다. 가입 버튼 문구를 바꾸고 다음 달 전환율을 지난달과 견주는 식입니다. 지난달이 8퍼센트였고 이번 달이 9.5퍼센트면 좋아진 것으로 봤습니다.

그런데 그 한 달 동안 버튼 문구만 바뀐 것이 아닙니다. 광고 예산이 늘었고, 경쟁 제품이 값을 올렸고, 계절이 바뀌었습니다. 회의에서 누군가 "광고를 더 쓴 것 때문 아닌가요" 하고 물으면 답할 방법이 없습니다. 반대 방향도 곤란합니다. 문구가 실제로 좋아졌는데 그달에 큰 장애가 있어 전환율이 떨어졌으면, 좋은 변경을 되돌리게 됩니다.

실험군은 같은 시기에 견줄 상대를 만들어 그 문제를 없앱니다. 같은 기간, 같은 광고, 같은 계절 속에서 한 무리에게만 새 문구를 보여 주고 다른 무리에게는 예전 문구를 그대로 둡니다. 두 무리 사이에 남은 차이는 문구 하나뿐이니, 결과의 차이를 그 문구 때문이라고 말할 수 있습니다. 시간 축으로 견주던 것을 같은 시점의 두 무리로 바꾼 것이 전부입니다.

실험군을 만들 때 정해야 하는 것은 다섯입니다.

1. 무엇을 바꿀지 — 한 번에 하나만 바꿉니다. 버튼 색과 문구와 위치를 동시에 바꾸면 결과가 갈려도 셋 중 무엇 때문인지 알 수 없습니다. 셋을 다 보고 싶으면 실험을 셋으로 나눕니다.
2. 누가 들어갈지 — 무작위 배정으로 가릅니다. 무작위 배정은 집단을 치우침 없이 나누는 절차입니다. 가입 순서나 아이디 끝자리로 가르면 그 기준에 다른 성질이 딸려 옵니다. 먼저 가입한 쪽에는 초기 사용자가 몰려 있고, 특정 대역 아이디는 한 회사가 한꺼번에 만든 계정일 수 있습니다.
3. 얼마나 넣을지 — 반반이 기본이지만 꼭 그래야 하지는 않습니다. 되돌리기 어려운 변경은 10퍼센트만 넣고 시작합니다. 대신 한쪽을 작게 하면 필요한 기간이 길어집니다. 90대 10으로 가르면 같은 결론을 내는 데 반반일 때보다 두 배 넘는 시간이 걸립니다.
4. 얼마나 돌릴지 — 필요 표본 수를 먼저 계산합니다. 필요 표본 수는 결론을 내려면 몇 명을 모아야 하는지입니다. 한 무리에 8,000명이 필요하고 하루 방문이 1,000명이면 반반으로 갈라도 16일짜리 실험입니다. 이 숫자를 시작 전에 정해 두고 그 전까지는 판정하지 않습니다.
5. 제대로 보였는지 확인 — 실험군에 배정된 사람이 실제로 새 화면을 봤는지 세어 봅니다. 배정은 5,000명인데 새 화면 노출이 4,100명이면 900명은 어딘가에서 예전 화면을 본 것이고, 그 상태로 낸 결론은 효과를 실제보다 작게 잡습니다.

배정 비율이 어긋나는 것 자체도 신호입니다. 반반으로 갈랐는데 들어온 사람이 52대 48이면 배정 과정에 문제가 있었다는 뜻이라 결과를 버립니다.

가장 흔한 자리는 A/B 테스트입니다. A/B 테스트는 두 안을 무작위로 나눠 보여 주고 결과를 견주는 실험이고, 여기서 새 안을 보는 쪽이 실험군입니다. 화면 문구, 가격 표시 방식, 가입 단계 수 같은 것을 이렇게 결정합니다.

단계적 출시에도 같은 구조를 씁니다. 새 기능을 전체에 켜기 전에 10퍼센트에게만 켜고 오류율과 지표를 봅니다. 문제가 없으면 50퍼센트, 그다음 전체로 넓힙니다. 이때 10퍼센트가 실험군 역할을 합니다. 목적이 조금 다릅니다. 효과를 재려는 것이 아니라 사고를 작게 막으려는 것이라, 이 경우에는 필요 표본 수를 계산하지 않고 기간과 오류율 기준만 정해 둡니다.

기간을 짧게 잡으면 안 되는 이유도 실험군 쪽에 있습니다. 신기 효과는 새롭다는 이유만으로 잠깐 반응이 좋아지는 현상입니다. 화면이 바뀌면 기존 사용자가 달라진 것을 눌러 보기 때문에 실험군 숫자가 첫 며칠 뜁니다. 2주쯤 지나면 내려오는 일이 흔해서, 사흘 결과로 승리를 선언하면 아무것도 얻지 못하는 변경을 전체에 밀게 됩니다.

실험군을 두지 않고 전체에 바로 적용하는 경우도 있습니다. 법 때문에 반드시 바꿔야 하는 화면, 그리고 나눠 보여 주면 혼란이 생기는 경우입니다. 같은 팀에서 한 사람은 새 요금, 다른 사람은 예전 요금을 보면 문의가 먼저 들어옵니다.

"실험군에 새 문구 보여 주고 대조군은 그대로 두고 2주 돌립니다."

실험 설계를 한 문장으로 말하는 장면입니다.

"실험군 배정은 5,000명인데 노출이 4,100명이에요. 어디서 새는지 찾아야 합니다."

배정과 실제 노출이 어긋난 것을 발견한 말입니다.

"이건 되돌리기 어려운 변경이라 실험군 10퍼센트로 시작하겠습니다."

위험 크기에 따라 실험군 크기를 조절하는 판단입니다.

페이지덱에서는 지현이 실험 설계를 맡습니다. 지난 분기에 민서가 만든 새 가입 화면을 실험군 50퍼센트에 붙였습니다. 바꾼 것은 한 가지였습니다. 가입 단계를 세 화면에서 두 화면으로 줄인 것입니다. 문구와 색은 예전 그대로 두었습니다.

2주 뒤 실험군 전환율이 11.2퍼센트, 대조군이 9.8퍼센트였습니다. 지현이 판정 전에 확인한 것은 셋입니다. 두 무리의 인원이 의도한 비율과 맞는지, 실험군의 새 화면 노출 비율이 99퍼센트를 넘는지, 첫 사흘을 뺀 기간에도 차이가 유지되는지입니다. 셋 다 통과해 전체에 적용했습니다.

실험군을 크게 잡으면 결과가 정확해진다고 보는 경우가 많습니다. 사람이 많으면 숫자가 안정된다는 것은 맞습니다. 다만 정확도는 두 무리 중 작은 쪽이 정합니다. 90퍼센트를 실험군에 넣고 10퍼센트만 대조군에 남기면 대조군 숫자가 출렁여서 차이를 읽을 수 없습니다. 실험군을 키우려면 대조군도 함께 커져야 하고, 방문 수가 정해져 있으면 반반이 가장 빠릅니다. 한쪽을 작게 잡는 것은 정확도를 포기하고 위험을 줄이는 교환입니다.

실험군 지표가 올랐으면 성공이라고 보는 것도 흔합니다. 바꾼 쪽 숫자가 좋아졌으니 그렇게 읽힙니다. 하지만 봐야 할 것은 대조군과의 차이이고, 그 차이가 우연으로 설명되지 않을 만큼 큰지입니다. 실험군이 9.8에서 11.2로 올랐는데 같은 기간 대조군도 9.8에서 11.0으로 올랐다면 그 변화는 문구 때문이 아닙니다. 그리고 목표 지표 하나만 보면 다른 곳이 나빠진 것을 놓칩니다. 가입 단계를 줄여 전환율이 올랐는데 한 달 뒤 남아 있는 비율이 떨어졌다면 그 실험은 성공이 아닙니다.