조기 확인 문제

실험 결과가 화면에 실시간으로 뜨기 시작하면서 생긴 문제입니다. 예전에는 기간이 끝난 뒤 자료를 모아 계산했으니 중간에 볼 방법이 없었습니다. 지금은 대시보드를 열면 오늘까지의 승패가 보입니다.

그러면 3일째에 이런 대화가 나옵니다. B안이 앞서고 있으니 이미 이긴 것 아니냐고, 2주를 기다릴 이유가 없지 않냐고 묻습니다. 실험을 멈추고 B안을 전원에게 엽니다. 한 달 뒤에 지표는 원래 자리로 돌아와 있고, 왜 그런지는 아무도 설명하지 못합니다.

원인은 숫자가 매일 출렁인다는 데 있습니다. 두 안 사이에 실제 차이가 없어도 어느 날은 우연히 한쪽이 앞서고 다음 날은 반대로 뒤집힙니다. 동전을 100번 던지면 앞면이 50번 근처에서 멈추지만 20번째쯤에는 앞면이 13번 나와 있는 순간이 자주 있습니다. 매일 들여다보면 그렇게 벌어진 날을 반드시 만나게 되고, 그날 멈추면 우연을 결론으로 적는 것입니다.

조기 확인 문제는 이 함정에 붙은 이름입니다. 들여다보는 행위가 아니라 들여다본 결과로 멈추는 행위가 문제입니다.

판정 기준을 여러 번 적용하면 우연히 통과할 확률이 판정마다 쌓입니다. 한 번 보기로 설계된 계산을 스무 번 쓰는 것이라 기준 자체가 헐거워집니다.

실험의 판정은 우연만으로 이런 차이가 나올 확률인 p값을 계산해, 그 값이 미리 정한 선 아래로 내려가면 우연으로 보기 어렵다고 판단하는 방식입니다. 그 선을 5퍼센트로 잡는 것이 통례이고, 이 판단 전체를 통계적 유의성이라고 부릅니다. 5퍼센트라는 말은 차이가 없는데도 있다고 잘못 말할 확률이 스무 번에 한 번이라는 뜻입니다.

문제는 이 확률이 한 번 볼 때의 값이라는 점입니다. 매일 한 번씩 스무 번 들여다보고 그중 한 번이라도 선 아래로 내려가면 멈추기로 하면, 잘못 말할 확률은 5퍼센트가 아니라 60퍼센트대로 올라갑니다. 차이가 전혀 없는 두 안으로 실험해도 열 번 중 여섯 번은 승자가 나옵니다.

막는 방법은 다섯입니다.

1. 시작 전에 모을 관측 수를 정합니다. 결론을 내는 데 필요한 최소 관측 수를 계산하는 필요 표본 수가 이 자리에서 쓰입니다.
2. 판정하는 날을 하루로 고정합니다. 그날까지는 숫자가 어떻게 흔들려도 결론을 적지 않습니다.
3. 중간에 판정하고 싶으면 그에 맞게 설계된 방법으로 바꿉니다. 여러 번 볼 것을 전제로 기준을 조여 두는 방식이 따로 있고, 그때는 스무 번을 봐도 잘못 말할 확률이 5퍼센트에 머물게 계산합니다.
4. 대시보드에서 중간 승패 표시를 가립니다. 보이면 논의가 시작되기 때문에 화면 설계로 막는 편이 규칙보다 셉니다.
5. 멈추는 조건을 착수 전에 문서에 적습니다. 무엇이 나오면 멈춘다는 문장이 미리 있으면 그날의 숫자로 협상할 자리가 없어집니다.

반대 방향으로도 같은 오류가 납니다. 지고 있어서 결론을 미루고 계속 돌리는 것도 판정 시점을 결과에 맞춰 고르는 일입니다.

이 말이 실제로 쓰이는 자리는 넷입니다.

첫째는 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트의 운영 규칙입니다. 언제 시작하고 언제 판정하는지를 규칙으로 적어 두는 이유가 대부분 이 문제 때문입니다.

둘째는 실험 결과를 검토하는 회의입니다. 결과를 보고받을 때 묻는 질문이 하나 늘어납니다. 이 실험을 몇 번 들여다봤고 멈춘 날이 정해져 있던 날인지입니다. 답이 없으면 숫자보다 그 사실이 먼저 걸립니다.

셋째는 대시보드를 만드는 일입니다. 실험 화면에 오늘까지의 승패를 띄울지 말지가 이 문제를 아는 팀과 모르는 팀에서 다르게 결정됩니다.

넷째는 예외를 정하는 자리입니다. 오류율이나 결제 실패율처럼 나빠지면 즉시 멈춰야 하는 지표는 매일 보고 즉시 끕니다. 이쪽은 승패를 가리는 판정이 아니라 사고를 막는 장치라서 같은 규칙을 적용하지 않습니다.

같은 갈래의 다른 위험과 함께 놓고 보면 구별이 쉬워집니다. 새로워서 잠깐 좋아 보이는 신기 효과는 기간을 짧게 잡아 생기는 오류이고, 집단 배정 비율이 의도와 어긋난 표본 비율 불일치는 실험 자체가 망가진 상태입니다. 조기 확인 문제는 실험은 멀쩡한데 멈추는 시점을 결과에 맞춰 고른 경우입니다.

"3일째인데 벌써 이기고 있어요. 지금 멈추면 안 됩니까?"

멈출 날이 정해져 있는지 확인해야 하는 순간입니다.

"이 실험 결과 볼 때마다 승패가 뒤집혔어요."

차이가 우연의 범위 안에 있다는 신호입니다.

"필요 표본 수를 먼저 계산하고 시작하죠."

멈출 시점을 착수 전에 정해 두자는 제안입니다.

페이지덱에서 현우가 가입 화면 실험을 돌리다 나흘째에 좋은 숫자를 보고 조기 종료를 제안했습니다. 지현이 그 자리에서 물은 것은 그동안 결과를 몇 번 열어 봤는지였고, 답은 매일이었습니다.

그래서 실험은 예정한 2주를 채웠고 최종 결과는 차이가 없는 쪽으로 나왔습니다. 두 사람은 그 뒤 실험 대시보드에서 종료일 전까지 승패 표시를 가리고, 남은 관측 수만 보여 주도록 화면을 고쳤습니다.

표본이 충분히 크면 중간에 봐도 된다고 보는 경우가 가장 많습니다. 데이터가 많으면 흔들림이 줄어드니 그렇게 읽힙니다. 흔들림의 폭이 줄어드는 것은 맞지만 이 문제는 크기가 아니라 판정 횟수에서 나옵니다. 하루에 10만 명이 들어오는 제품에서 스무 번 들여다봐도 잘못 말할 확률은 같은 방식으로 올라갑니다. 이 구별을 놓치면 규모가 큰 팀일수록 조기 종료를 더 자주 하게 되고, 되돌린 결정이 분기마다 쌓입니다.

중간에 들여다보는 것 자체가 금지라고 보는 오해도 흔합니다. 앞의 설명을 읽으면 그렇게 들립니다. 그러나 보는 일과 보고 멈추는 일은 다릅니다. 실험이 제대로 돌아가고 있는지, 배정 비율이 어긋나지 않았는지, 오류가 늘지 않았는지는 매일 봐야 합니다. 금지되는 것은 그 숫자로 승패를 정하는 것이고, 승패를 중간에 정하고 싶다면 그에 맞는 계산으로 기준을 다시 잡으면 됩니다.