통계적 유의성

숫자 두 개를 비교하는 일은 쉬워 보입니다. 버튼 색을 바꾼 화면에서 가입률이 5.2퍼센트이고 기존 화면이 4.8퍼센트라면 새 화면이 나은 것처럼 보입니다.

그런데 같은 화면을 두 집단에 똑같이 보여 주고 재도 값은 다르게 나옵니다. 아무것도 바꾸지 않은 두 집단에서 4.8퍼센트와 5.1퍼센트가 나오는 일이 흔합니다. 사람마다 그날 사정이 다르고, 각 집단에 우연히 어떤 사람들이 들어갔는지가 매번 다르기 때문입니다.

그래서 기준 없이 숫자를 비교하던 팀에서는 같은 일이 반복됐습니다. 차이를 보고 새 화면을 내보냅니다. 다음 달에 가입률이 4.9퍼센트로 돌아옵니다. 그 사이에 다른 것을 여러 개 바꿨으니 원인을 찾을 수도 없습니다. 반년 뒤에 돌아보면 스무 번의 실험 가운데 효과가 남은 것은 셋뿐입니다.

통계적 유의성은 그 판단에 선을 그으려고 만든 기준입니다. 이 정도 차이가 우연만으로 나올 확률이 충분히 낮으면 우연이 아니라고 보기로 미리 정해 두는 것입니다.

거꾸로 계산합니다. 차이가 있다는 것을 증명하는 대신, 차이가 없다고 가정했을 때 이런 결과가 나올 확률을 구합니다.

순서는 넷입니다.

1. 차이가 없다는 가정을 세웁니다. 두 화면의 진짜 가입률이 같다고 가정합니다. 이 가정을 세우는 이유는 계산이 가능해지기 때문입니다. 차이가 얼마인지는 무한히 많은 경우가 있지만 차이가 0이라는 경우는 하나입니다.
2. 그 가정에서 관찰된 차이가 나올 확률을 구합니다. 이 확률이 우연만으로 이런 차이가 나올 확률인 p값입니다.
3. 미리 정한 기준과 견줍니다. 0.05가 관행입니다. p값이 0.03이면 기준보다 낮으니 우연으로 보기 어렵다고 판단합니다.
4. 판단을 기록합니다. 유의하다는 말은 차이가 크다는 뜻이 아니라 우연으로 설명하기 어렵다는 뜻입니다.

0.05라는 숫자에 특별한 근거는 없습니다. 관행으로 굳은 값입니다. 스무 번 실험하면 그중 한 번은 아무 효과가 없는데도 이 선을 넘는다는 뜻이고, 그래서 실험을 많이 하는 팀에서는 이 선을 더 낮추거나 같은 결과를 다시 확인합니다.

표본 수가 이 계산을 크게 흔듭니다. 같은 차이라도 표본이 크면 유의하게 나오고 작으면 안 나옵니다. 각 집단 200명에서 4.8퍼센트와 5.2퍼센트 차이는 우연과 구분되지 않지만, 각 집단 5만 명에서 같은 차이는 유의하게 나옵니다. 그래서 실험을 시작하기 전에 결론을 내려면 몇 명이 필요한지를 계산해 둡니다. 그 값이 필요 표본 수입니다. 실제 차이가 있을 때 그것을 잡아낼 확률인 검정력이 그 계산의 반대쪽 짝입니다.

멈추는 시점도 미리 정합니다. 결과를 보면서 유의해지는 순간에 멈추면 우연히 선을 넘은 시점에 멈추게 됩니다. 실험 기간과 표본 수를 먼저 적어 두고 그때까지 기다리는 것이 이 기준을 쓰는 조건입니다.

실무에서 이 판단이 실제로 걸리는 자리는 네 곳입니다.

1. 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트입니다. 가장 흔한 자리이고, 새 화면을 전체에 내보낼지 정하는 근거가 이 판단입니다.
2. 지표가 변했는지 보는 자리입니다. 이번 주 이탈률이 지난주보다 0.4퍼센트포인트 올랐을 때 조치를 할지 정할 때 씁니다. 주마다 값이 흔들리는 폭 안이면 원인을 찾을 것이 없습니다.
3. 설문 결과를 읽는 자리입니다. 응답자 80명에서 두 집단의 만족도가 다르게 나왔을 때 그 차이를 보고할지 정합니다. 표본이 작으면 눈에 보이는 차이도 우연 범위 안입니다.
4. 실험을 설계하는 자리입니다. 쓰이는 시점이 결과를 볼 때만이 아닙니다. 어느 정도 차이를 잡아내고 싶은지 먼저 정하면 필요한 표본 수가 나오고, 그 표본을 모을 수 없으면 그 실험은 하지 않는 편이 낫습니다.

같이 봐야 하는 것이 하나 더 있습니다. 차이의 크기입니다. 표본 10만 명에서 4.80퍼센트와 4.83퍼센트는 유의하게 나올 수 있지만, 그 0.03퍼센트포인트를 얻으려고 화면을 고칠 값어치가 있는지는 다른 판단입니다. 유의성은 우연인지 아닌지만 답하고 할 만한지는 답하지 않습니다.

"차이는 났는데 유의하지 않아요. 2주 더 돌립니다."

표본이 모자라 판단을 미룬 상황입니다.

"유의하게 나왔는데 차이가 0.03퍼센트포인트예요. 이걸 배포할 값어치가 있을까요?"

유의성과 크기를 나눠 보는 말입니다.

"중간에 보고 멈추지 마세요. 2주로 정했으면 2주 돌립니다."

멈추는 시점을 미리 정한 이유를 짚는 말입니다.

페이지덱에서는 지현이 실험을 시작할 때 세 가지를 먼저 적습니다. 기대하는 차이, 그 차이를 잡으려면 필요한 표본 수, 그리고 언제 멈출지입니다. 지난 분기에는 가입 화면 실험에서 각 집단 4만 명이 필요하다는 계산이 나왔고, 하루 방문자로 나눠 보니 3주였습니다.

그 계산 때문에 하지 않기로 한 실험도 있었습니다. 기업 요금제 안내 화면은 방문자가 하루 300명이라, 기대하는 차이를 잡으려면 넉 달이 걸렸습니다. 넉 달 동안 다른 것을 아무것도 바꾸지 않을 수는 없었습니다. 그래서 그 화면은 실험 대신 사용자 다섯 명과 이야기해 보는 쪽으로 정했습니다.

유의하지 않다는 결과를 차이가 없다는 뜻으로 읽는 경우가 가장 많습니다. 기준을 넘지 못했으니 효과가 없었다고 보는 것입니다. 하지만 이 결과가 말해 주는 것은 지금 모은 데이터로는 우연과 구분할 수 없다는 사실뿐입니다. 표본이 작으면 실제로 효과가 있어도 이런 결과가 나옵니다. 효과가 없다고 결론 내리려면 그 정도 효과를 잡아낼 수 있을 만큼 표본을 모았다는 근거가 함께 있어야 합니다.

유의하게 나오면 중요한 발견이라고 읽는 것도 흔합니다. 유의라는 낱말이 중요하다는 뜻으로 들리기 때문입니다. 실제로 이 말은 우연으로 설명되지 않는다는 뜻일 뿐이고 크기에 대해서는 아무 말도 하지 않습니다. 표본이 충분히 크면 아주 작은 차이도 유의하게 나옵니다. 그래서 결과를 보고할 때는 유의한지와 함께 차이가 얼마인지를 항상 같이 적습니다. 둘 가운데 결정을 정하는 것은 대개 두 번째입니다.