검정력

실험 결과가 "차이 없음" 으로 나올 때 두 가지 경우가 섞여 있습니다. 정말 차이가 없었던 경우와, 차이가 있었는데 못 잡아낸 경우입니다.

현우가 가입 화면 문안을 바꿔 A/B 테스트를 돌린 적이 있습니다. 2주 뒤 결과가 유의하지 않았고, 효과가 없다고 결론 내고 넘어갔습니다. A/B 테스트는 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 실험입니다.

반년 뒤 같은 문안을 다시 붙였을 때는 결과가 달랐습니다. 그동안 방문이 다섯 배로 늘었고, 같은 크기의 차이가 이번에는 유의하게 나왔습니다. 효과는 처음부터 있었고 첫 실험이 그것을 볼 눈이 아니었습니다.

첫 실험에서 잘못한 것은 결론이 아니라 설계였습니다. 그 표본으로는 그 정도 차이를 잡아낼 확률이 30퍼센트쯤밖에 되지 않았는데, 그 사실을 실험 전에 계산하지 않았습니다. 검정력은 실험을 돌리기 전에 이 확률을 재 두려고 쓰는 값입니다.

검정력은 네 가지 값이 정해지면 따라 나옵니다. 하나를 모르면 나머지 셋으로 그것을 구하는 관계입니다.

1. 유의 수준 — 차이가 없는데 있다고 잘못 말할 확률의 상한이고 보통 5퍼센트로 둡니다.
2. 잡아내려는 차이의 크기 — 전환율 4퍼센트를 4.8퍼센트로 올리는 정도를 볼 것인지, 6퍼센트까지 가야 볼 것인지입니다. 이 값을 최소 검출 효과라고 부릅니다.
3. 값의 흔들림 — 같은 조건에서도 결과가 얼마나 퍼지는지입니다. 전환율처럼 비율을 다룰 때는 기준 전환율에서 계산됩니다.
4. 표본 수 — 각 집단에 몇 명을 넣을지입니다.

실무에서는 검정력을 계산하는 대신 검정력을 정해 놓고 표본 수를 구합니다. 검정력 80퍼센트와 유의 수준 5퍼센트를 고정하면, 비율을 비교하는 실험에서 한 집단에 필요한 수는 대략 16을 곱한 기준 전환율의 흔들림을 차이의 제곱으로 나눈 값입니다.

숫자를 넣어 보면 규모가 보입니다. 기준 전환율이 4퍼센트이고 0.8퍼센트포인트를 잡아내려면 한 집단에 9,600명이 필요합니다. 두 집단이니 전체 19,200명입니다. 하루 방문이 800명이면 24일이 걸립니다.

눈에 띄는 성질이 하나 있습니다. 잡아내려는 차이를 절반으로 줄이면 필요한 표본은 네 배가 됩니다. 0.4퍼센트포인트를 보려면 한 집단에 38,400명이 필요하고 기간은 96일입니다. 작은 차이를 확인하는 비용이 빠르게 오르니, 실험 설계는 볼 만한 가장 작은 차이를 정하는 데서 시작합니다.

관례는 80퍼센트입니다. 실제로 차이가 있다면 다섯 번 중 네 번은 잡아낸다는 뜻이고, 나머지 한 번은 놓칩니다. 이 값이 절대 기준은 아니고 놓쳤을 때의 비용에 따라 조정합니다.

1. 되돌릴 수 있는 작은 변경 — 80퍼센트로 충분합니다. 놓쳐도 다음에 다시 시도합니다.
2. 큰 투자를 결정하는 실험 — 90퍼센트나 95퍼센트로 올립니다. 80에서 90으로 올리면 표본이 30퍼센트쯤 더 필요합니다.
3. 안전이나 규제가 걸린 판단 — 놓치는 쪽의 비용이 크므로 더 높게 잡습니다.

50퍼센트 아래로 내려가면 실험을 돌리는 의미가 거의 없어집니다. 동전을 던지는 것과 비슷한 확률로 결과가 갈리기 때문입니다. 이 상태에서 "차이 없음" 이 나왔다면 그것은 차이가 없다는 근거가 아니라 실험이 답하지 못했다는 뜻입니다.

낮은 검정력에는 덜 알려진 부작용이 있습니다. 표본이 작은 실험에서 유의한 결과가 나오려면 관측된 차이가 아주 커야 합니다. 그래서 작은 실험의 유의한 결과는 실제 효과보다 부풀려진 값일 확률이 높습니다. 표본 200명에서 전환율이 40퍼센트 올랐다고 나왔다면, 제대로 돌렸을 때 그 숫자는 대개 작아집니다.

실험을 시작하기 전에 필요 표본 수를 계산해 기간으로 환산해 두는 것이 이 값을 실제로 쓰는 방법입니다. 필요 표본 수는 결론을 내기 위해 모아야 하는 최소 관측 수입니다. 계산해 보니 넉 달이 나오면 그 실험은 돌릴 수 없는 실험이고, 그때는 더 큰 변화를 시도하거나 다른 방법으로 확인합니다.

"이 실험 검정력이 30퍼센트예요. 차이 없음이 나와도 아무 말 못 합니다."

설계상 잡아낼 확률이 낮아 결과를 해석할 수 없다는 지적입니다.

"0.4퍼센트포인트 보려면 두 집단에 8만 명이 필요해요. 석 달입니다."

작은 차이를 보려는 비용이 감당하기 어렵다는 뜻입니다.

"표본 200명에서 40퍼센트 개선이 나왔다는데 그대로 믿기는 어렵습니다."

낮은 검정력에서 나온 유의한 결과가 부풀려졌을 가능성을 짚은 말입니다.

페이지덱은 실험을 시작할 때 이 계산을 먼저 합니다. 현우가 문안 실험으로 겪은 뒤에 만든 규칙인데, 검정력 80퍼센트로 필요한 기간을 계산해 2주를 넘으면 그 실험을 돌리지 않습니다.

대신 둘로 갈라 처리합니다. 효과가 클 것으로 보는 변경은 크게 바꿔 차이를 키우고, 작은 개선은 실험 없이 내보냅니다. 지현이 조건을 하나 붙였는데, 실험 없이 내보낸 변경은 되돌릴 수 있는 것만으로 한정한다는 것입니다.

유의하지 않다는 결과를 차이가 없다는 뜻으로 읽는 경우가 가장 많습니다. 유의하지 않다는 표현이 효과가 없다는 말처럼 들립니다. 하지만 이 결과가 나올 수 있는 경우는 둘이고, 검정력을 모르면 어느 쪽인지 가릴 수 없습니다. 검정력 30퍼센트짜리 실험에서 유의하지 않게 나오는 것은 차이가 있어도 흔한 일입니다. 결과를 보고할 때 검정력을 함께 적어 두면 이 혼동이 줄어듭니다.

표본을 늘리면 언제나 해결된다고 보는 것도 흔합니다. 계산식이 표본 수로 되어 있으니 그렇게 보입니다. 하지만 표본을 늘리는 데는 기간이 들고, 길어지면 실험 도중에 제품이나 계절이 바뀌어 비교가 흐려집니다. 그래서 다른 선택지도 봅니다. 잡아내려는 차이를 키우거나, 흔들림이 작은 지표로 바꾸거나, 실험 대상을 반응이 큰 집단으로 좁히는 방법입니다.