p값

두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트에서는 한쪽이 높게 나왔을 때 올랐다고 말해도 되는지가 늘 문제였습니다. 동전을 100번 던져 앞면이 52번 나왔다고 그 동전이 기울어진 것은 아닙니다. 아무 차이가 없는 상황에서도 숫자는 위아래로 흔들립니다.

페이지덱에서 그 흔들림에 걸린 일이 있었습니다. 현우가 가입 버튼 문구를 바꿔 전환율이 12.4퍼센트에서 13.1퍼센트로 올랐다고 보고했습니다. 사흘 뒤 같은 실험을 다른 요일 데이터로 다시 재니 두 안의 순서가 뒤집혀 있었습니다. 각 안에 들어간 사람이 300명씩이었습니다. 300명 중 37명과 39명의 차이였고, 두 명이 우연히 어느 쪽에 들어가느냐로 결론이 바뀌는 상태였습니다.

p값은 그 흔들림의 크기를 재는 값입니다. 차이가 전혀 없는 세상을 가정하고, 그 세상에서도 지금 본 만큼의 차이가 나올 확률을 계산합니다. 데이터를 다룰 때 쓰는 기본 개념인 통계 기초 아래에서 관찰된 차이가 우연일 가능성을 따지는 검정 갈래에 속합니다.

손으로 계산하는 값이 아니고 분석 도구가 내줍니다. 알아 두어야 할 것은 그 계산에 무엇이 들어가는지입니다.

1. 차이가 없다는 가정을 세웁니다. 두 안의 전환율이 같다고 놓는 것이고, 이 가정을 귀무가설이라 부릅니다. p값은 언제나 이 가정 아래에서 계산됩니다.
2. 관찰된 차이를 잽니다. 12.4퍼센트와 13.1퍼센트라면 0.7퍼센트포인트입니다.
3. 그 가정이 참일 때 이만한 차이가 나올 확률을 구합니다. 이 계산에 들어가는 재료가 셋입니다. 차이의 크기, 표본 크기, 그리고 값이 얼마나 흩어져 있는지입니다.

세 재료 중 실무에서 결과를 가장 크게 좌우하는 것은 표본 크기입니다. 같은 0.7퍼센트포인트 차이라도 각 300명일 때는 p값이 0.6 근처에 나오고, 각 3만 명이면 0.01 아래로 떨어집니다. 차이는 그대로인데 판단이 뒤집히는 것이 아니라, 300명에서는 그 차이를 우연과 구분할 수 없고 3만 명에서는 구분할 수 있다는 뜻입니다.

읽는 방법은 하나입니다. p값이 0.03이면 차이가 없는 세상에서도 이 정도 결과가 100번에 세 번은 나온다는 뜻입니다. 자주 나오는 것이 아니니 차이가 있다고 보는 쪽이 낫겠다는 판단으로 이어집니다.

아닌 것도 분명히 해 두는 편이 좋습니다. 이 값은 B안이 나을 확률이 97퍼센트라는 뜻이 아닙니다. 가정이 맞을 확률이 아니라, 가정이 맞다고 치면 이런 데이터가 나올 확률입니다. 방향이 반대라서 두 문장은 서로 바꿔 쓸 수 없습니다.

관습적으로 쓰는 선은 0.05입니다. 이 값에 특별한 근거는 없습니다. 20번에 한 번쯤 헛것을 붙잡는 것을 감수하겠다는 약속이고, 분야마다 다르게 잡습니다. 사람의 목숨이 걸린 임상 연구는 훨씬 낮은 선을 쓰고, 버튼 문구를 고르는 자리에서는 0.1로 두고 빨리 결정하는 팀도 있습니다.

지켜야 할 것은 순서입니다. 선을 실험 전에 정하고 결과를 본 뒤에 옮기지 않습니다. 0.07이 나왔을 때 선을 0.1로 옮기면 판단이 아니라 사후 설명이 됩니다.

표본 크기도 미리 정합니다. 실제로 차이가 있을 때 그 차이를 잡아낼 확률인 검정력을 정해 두고 거기서 필요한 인원을 계산합니다. 이 계산 없이 시작한 실험은 결과가 나와도 읽을 수 없습니다. 차이 없음이라는 결과가 정말 차이가 없다는 뜻인지 표본이 작아 못 봤다는 뜻인지 가릴 수 없습니다.

p값 하나만 보지 않는 것도 중요합니다. 3만 명씩 모으면 0.1퍼센트포인트 차이도 p값이 0.01로 나옵니다. 통계적으로는 우연이 아니고 사업적으로는 손댈 이유가 없는 크기입니다. 그래서 차이의 크기와 참값이 들어 있을 범위인 신뢰 구간을 함께 적습니다.

중간에 들여다보며 멈추지 않는 것도 규칙입니다. 매일 p값을 확인하다가 0.05 아래로 내려간 날 실험을 끝내면, 실제로는 차이가 없는데 있다고 판단할 확률이 몇 배로 올라갑니다. 그 값은 위아래로 흔들리며 지나가기 때문입니다.

"각 300명에 p값 0.6이에요. 이건 아직 아무 말도 못 하는 숫자입니다."

표본이 작아 우연과 구분되지 않는다는 지적입니다.

"p값은 0.01인데 차이가 0.1퍼센트포인트예요. 붙일 만한 크기인가요?"

통계적 판단과 사업적 판단을 갈라 보는 말입니다.

"선을 0.05로 정해 두고 시작했으니 0.07은 통과가 아니에요."

결과를 보고 기준을 옮기지 않겠다는 뜻입니다.

페이지덱의 실험 검토 자리에서 현우가 숫자를 가져오고 지현이 세 가지를 순서대로 묻습니다. 표본이 계획한 크기에 닿았는지, 미리 정한 기간을 다 돌았는지, 그리고 차이의 크기가 붙일 만한지입니다. 앞의 둘이 안 됐으면 p값은 읽지 않습니다.

숫자를 두 사람이 함께 보기로 한 뒤 달라진 것은 실험 개수입니다. 한 달에 여섯 건씩 돌리다 세 건으로 줄었습니다. 대신 결론이 사흘 뒤에 뒤집히는 일이 사라졌습니다.

p값이 낮을수록 효과가 크다고 읽는 경우가 가장 많습니다. 숫자가 작을수록 좋다는 인상이 붙어 있어서 그렇습니다. 하지만 이 값은 효과의 크기를 재지 않습니다. 재는 것은 관찰된 차이를 우연으로 설명하기가 얼마나 어려운지입니다. 표본을 충분히 늘리면 아주 작은 차이도 낮은 p값을 갖습니다. 그래서 두 값을 늘 함께 봅니다. 얼마나 차이가 나는지는 차이의 크기가 말해 주고, 그 차이를 믿을 수 있는지는 p값이 말해 줍니다.

선을 넘지 못하면 차이가 없다고 결론 내리는 것도 흔합니다. 0.07이 나왔을 때 두 안이 같다고 적는 식입니다. 실제로 이 값이 말해 주는 것은 지금 데이터로는 우연과 구분할 수 없다는 것뿐입니다. 차이가 없다는 증거가 아니라 증거가 부족하다는 뜻이고, 둘은 다릅니다. 표본을 두 배로 늘려 다시 돌리면 같은 차이가 0.02로 나올 수도 있습니다. 실험 결과를 문서에 적을 때 차이 없음이라고 쓰지 않고 이 표본에서는 확인되지 않음이라고 쓰는 팀이 이 구분을 지키는 팀입니다.