필요 표본 수

실험을 며칠 돌려 보고 숫자가 앞선 쪽을 고르던 시절이 있었습니다. 페이지덱도 가입 화면 문구를 바꿔 보면서 사흘 뒤에 결과를 확인했습니다. 현우가 전환율이 3.1퍼센트에서 3.6퍼센트로 올랐다고 보고했고, 그 안이 전체에 적용됐습니다.

한 주 뒤 같은 화면의 전환율은 3.0퍼센트였습니다. 사흘 동안 각 갈래에 들어온 사람이 900명씩이었는데, 그 정도 인원에서는 두 화면이 똑같아도 전환율이 3.1과 3.6으로 갈립니다. 27명이 가입하면 3.0퍼센트, 32명이 가입하면 3.6퍼센트입니다. 다섯 명 차이입니다.

같은 일이 몇 번 반복되면 실험 결과 자체를 아무도 믿지 않게 됩니다. 어떤 실험은 이겼다고 했다가 한 달 뒤에 되돌려집니다. 필요 표본 수는 이 문제를 시작 전으로 옮겨 놓으려고 계산하는 값입니다. 지금 인원으로 이 정도 차이를 구분할 수 있는지를 먼저 따져 보고, 구분할 수 없다면 그 실험은 시작하지 않거나 조건을 바꿉니다.

네 가지 값을 넣으면 공식이 한 갈래당 인원을 내놓습니다. 지금의 전환율, 잡아내고 싶은 최소 차이, 유의수준, 검정력입니다. 공식은 계산기나 분석 도구가 풀어 주니 실제로 하는 일은 네 값을 정하는 판단입니다.

1. 지금의 전환율을 확인합니다. 가입 화면이라면 최근 4주 평균이 3.0퍼센트라는 값이 여기 들어갑니다. 이 값이 낮을수록 필요한 인원이 늘어납니다.
2. 잡아내고 싶은 최소 차이를 정합니다. 3.0퍼센트를 3.6퍼센트로 올리는 정도, 곧 상대 20퍼센트 개선을 보겠다고 정하는 식입니다. 이 값이 최소 검출 효과입니다.
3. 유의수준과 검정력을 정합니다. 관행은 유의수준 5퍼센트, 검정력 80퍼센트입니다. 검정력 80퍼센트는 실제로 차이가 있을 때 그것을 잡아낼 확률이 80퍼센트라는 뜻이라, 다섯 번 중 한 번은 있는 차이를 놓칩니다.
4. 나온 인원을 하루 유입으로 나눠 기간으로 바꿉니다. 인원으로만 적어 둔 값은 판단에 쓰이지 않습니다.

위 네 값으로 계산하면 한 갈래에 약 13,000명이 나옵니다. 두 갈래를 합쳐 26,000명이고, 하루 1,000명이 가입 화면에 들어온다면 26일짜리 실험입니다.

2번과 인원의 관계는 따로 볼 만합니다. 잡아내려는 차이를 절반으로 줄이면 필요한 인원은 두 배가 아니라 네 배가 됩니다. 상대 20퍼센트 개선 대신 10퍼센트 개선까지 보겠다고 하면 한 갈래에 52,000명이 필요하고, 26일짜리 실험이 석 달로 늘어납니다. 그래서 2번을 정할 때는 통계가 아니라 제품 쪽 질문을 합니다. 이 정도 차이가 나면 우리가 정말 화면을 바꿀 것인가.

좋은 필요 표본 수는 작은 값이 아니라 기간으로 바꿨을 때 감당할 수 있는 값입니다. 실무에서 쓰는 어림 기준은 4주입니다. 그보다 길어지면 실험이 도는 동안 계절이 바뀌고 다른 배포가 섞여 들어가서, 끝난 뒤에 무엇 때문에 차이가 났는지 말하기 어려워집니다.

기간이 너무 길게 나오면 조건을 바꿉니다. 방법은 셋입니다. 첫째로 잡아내려는 차이를 키웁니다. 둘째로 실험 대상을 넓힙니다. 신규 가입자만 보던 실험을 재방문자까지 포함하면 하루 유입이 두 배가 됩니다. 셋째로 더 앞단의 지표로 바꿉니다. 최종 결제율은 하루 30건뿐이지만 결제 화면 진입률은 하루 400건이라면, 뒤쪽 지표로 실험을 설계하고 결제율은 참고로만 봅니다.

계산을 건너뛰고 시작한 실험은 결과를 해석할 수 없습니다. 차이가 나지 않았다는 결과가 두 안이 실제로 같다는 뜻인지, 아니면 인원이 적어 있는 차이를 볼 수 없었다는 뜻인지 가릴 방법이 없기 때문입니다. 한 갈래에 300명이 들어온 A/B 테스트 결과는 아무 정보도 주지 않습니다. 미리 적어 두면 둘이 갈립니다. 채우고도 차이가 없었으면 정한 크기 이상의 차이는 없다는 결론이고, 채우지 못했으면 결론이 없는 실험입니다.

"이 실험 필요 표본 수는 뽑아 봤어요? 하루 유입 900명이면 3주는 돌려야 합니다."

시작 전에 기간을 계산했는지 확인하는 질문으로, 일정에 그 기간이 들어가 있어야 한다는 뜻입니다.

"1퍼센트 차이까지 보려면 표본이 스물다섯 배 필요해요. 3퍼센트로 올려 잡읍시다."

작은 차이를 보려는 설계가 현실적인 기간을 넘기니 기준을 낮추자는 제안입니다.

"표본이 다 안 찼는데 지금 이기고 있으니 멈추자는 건 안 됩니다."

미리 정한 인원에 이르기 전에 판정하면 우연히 벌어진 차이를 효과로 읽게 된다는 지적입니다.

페이지덱에서 이 값은 실험 제안서의 첫 칸에 들어갑니다. 현우가 실험을 제안하면 지현이 먼저 확인하는 것은 어떤 변화인지가 아니라 필요 표본 수와 그것을 채우는 기간입니다. 4주 안에 끝나면 그대로 승인하고, 8주가 나오면 대상을 넓히거나 더 앞단의 지표로 옮길 수 있는지 함께 봅니다. 그래도 방법이 없으면 실험 대신 사용자 인터뷰 쪽으로 방향을 바꿉니다.

전체 사용자가 많으면 표본도 더 많이 모아야 한다고 생각하는 경우가 많습니다. 여론조사에서 모집단 이야기를 들은 기억이 그렇게 연결하게 만듭니다. 그런데 필요 인원을 정하는 것은 전체 규모가 아니라 지금의 전환율과 보려는 차이입니다. 월 방문자가 5만 명인 서비스와 500만 명인 서비스가 같은 3퍼센트 전환율에서 같은 차이를 보려면 필요한 인원은 거의 같습니다. 다른 것은 그 인원을 모으는 데 걸리는 기간뿐입니다. 이 오해를 그대로 두면 작은 서비스에서는 표본이 적어도 된다고 판단해 근거 없는 결론을 쌓게 됩니다.

표본을 채웠는데 결과가 애매하면 조금 더 돌리면 된다는 생각도 자주 봅니다. 며칠만 더 모으면 판정이 선명해질 것처럼 보이니 자연스러운 판단입니다. 다만 결과를 보면서 기간을 늘리는 순간 계산은 무효가 됩니다. 두 갈래의 숫자는 계속 출렁이고 있어서 오래 들여다볼수록 어느 시점에는 한쪽이 앞서기 때문입니다. 이렇게 늘린 실험에서 얻은 승리는 다음 달에 되돌려지는 쪽에 속합니다. 그래서 필요 표본 수와 함께 멈출 시점도 시작 전에 적어 둡니다.