심슨의 역설

숫자가 거짓말을 하지 않아도 숫자를 묶는 방식이 결론을 바꿉니다. 같은 데이터에서 두 개의 반대되는 문장이 모두 참일 수 있다는 것을 겪기 전까지는 믿기 어렵습니다.

페이지덱의 가입 화면 실험이 그랬습니다. 현우가 두 주 동안 기존 화면과 새 화면을 나눠 보여 주고 전환율을 셌습니다. 전체로는 기존 화면이 8.0퍼센트, 새 화면이 6.2퍼센트였습니다. 새 화면을 접기로 결론이 나려던 회의에서 지현이 기기별로 쪼개 보자고 했습니다. 쪼개 보니 데스크톱에서는 기존 10.0퍼센트에 새 화면 12.0퍼센트, 모바일에서는 기존 4.0퍼센트에 새 화면 5.0퍼센트였습니다. 두 집단 모두 새 화면이 높은데 합치면 낮았습니다.

계산이 틀린 것은 아니었습니다. 실험 기간에 모바일 광고가 돌아 새 화면을 본 사람 가운데 모바일 비중이 훨씬 컸고, 모바일 전환율은 원래 데스크톱의 절반 아래였습니다. 결론을 뒤집은 것은 화면이 아니라 누가 그 화면을 봤는지였습니다.

세 조건이 겹칠 때 생깁니다. 집단이 섞여 있고, 집단마다 기준 값이 다르고, 비교하는 두 쪽의 집단 구성비가 다른 경우입니다.

페이지덱의 숫자를 그대로 펼치면 이렇습니다.

1. 데스크톱에서 기존 화면은 2,000명 중 200명이 가입해 10.0퍼센트이고, 새 화면은 500명 중 60명이 가입해 12.0퍼센트입니다.
2. 모바일에서 기존 화면은 1,000명 중 40명이 가입해 4.0퍼센트이고, 새 화면은 2,500명 중 125명이 가입해 5.0퍼센트입니다.
3. 합치면 기존은 3,000명 중 240명으로 8.0퍼센트, 새 화면은 3,000명 중 185명으로 6.2퍼센트입니다.

전체 값은 각 집단 값의 가중평균입니다. 기존 화면은 전환율이 높은 데스크톱이 3분의 2를 차지하고 새 화면은 전환율이 낮은 모바일이 6분의 5를 차지합니다. 가중치가 이렇게 다르면 각 집단의 순서가 그대로여도 합계의 순서는 뒤집힐 수 있습니다.

어느 쪽이 맞는지는 쪼갠 변수가 무엇이냐에 달려 있습니다.

1. 쪼갠 변수가 비교 전에 이미 정해진 것이고 결과에도 영향을 준다면 쪼갠 값이 맞습니다. 기기는 사람이 화면을 보기 전부터 정해져 있고 전환율에 영향을 줍니다. 이런 변수를 교란 변수라고 부릅니다.
2. 쪼갠 변수가 비교 뒤에 생긴 결과의 일부라면 전체 값이 맞습니다. 가입한 사람만 골라 문서 생성률을 견주면 새 화면이 데려온 사람의 성격이 함께 걸러져서, 쪼갠 값이 화면의 효과를 알려 주지 않습니다.
3. 판정이 애매하면 실험 설계로 돌아갑니다. 두 화면에 사람을 무작위로 나눠 배정하면 구성비가 저절로 비슷해지고 이 현상이 애초에 생기지 않습니다. 배정 뒤에 기기 구성비를 확인하는 점검을 붙이는 이유가 여기 있고, 어긋나 있으면 결과를 읽기 전에 배정부터 고칩니다.

비교가 들어가는 자리마다 걸립니다. 자주 나오는 자리가 넷입니다.

1. 실험 결과를 읽는 자리입니다. A/B 테스트의 두 집단이 무작위로 나뉘지 않았거나, 나뉜 뒤 한쪽에 특정 유입이 몰리면 결론이 뒤집힐 수 있습니다.
2. 유입 경로별 성과 비교입니다. 광고 채널 둘을 전환율로 견줄 때 한쪽에 신규 방문이 몰려 있으면 합계만으로는 판정되지 않습니다. 채널마다 데려오는 사람의 구성이 다르다는 것이 이 비교의 기본 조건입니다.
3. 시기별 비교입니다. 같은 시기에 들어온 집단끼리 묶어 보는 코호트 분석이 이 현상을 피하려고 쓰는 방법 가운데 하나입니다. 전체 잔존율은 신규 유입이 늘기만 해도 내려갑니다.
4. 팀이나 지역 비교입니다. 두 팀의 성공률을 견줄 때 맡은 일의 난이도 구성이 다르면 합계가 뒤집힙니다. 어려운 건을 많이 맡은 팀이 항목마다 더 잘하고도 전체 성공률은 낮게 나옵니다.

발견하는 방법은 정해져 있습니다. 합계가 예상과 반대로 나왔을 때 주요 변수로 쪼개 보는 것이고, 쪼갤 목록을 미리 정해 두는 편이 낫습니다. 페이지덱은 기기와 유입 경로와 신규 여부 셋을 기본으로 정해 두고 실험 보고에 그 셋을 항상 붙였습니다. 목록을 미리 정해 두지 않으면 결론이 마음에 들지 않을 때만 쪼개게 되고, 그것은 분석이 아니라 원하는 답을 찾는 일이 됩니다.

"전체로는 새 화면이 낮은데 기기별로 보면 둘 다 높습니다."

합계와 쪼갠 값의 방향이 다르다는 보고입니다.

"두 집단의 모바일 비중이 다른데 그대로 비교하면 안 됩니다."

구성비가 어긋난 비교라는 지적입니다.

"쪼갤 변수는 실험 전에 정해 둡시다."

결과를 보고 고르는 일을 막자는 제안입니다.

지현과 현우가 그 실험을 다시 돌릴 때는 기기별로 따로 나눠 배정했습니다. 데스크톱에서 기존과 새 화면이 각각 절반, 모바일에서도 각각 절반이 되게 맞췄습니다. 두 주 뒤 전체 값은 새 화면이 9.3퍼센트, 기존이 7.8퍼센트로 방향이 하나로 모였습니다. 첫 실험의 결론이 틀렸던 것이 아니라 첫 실험의 배정이 틀렸던 것이고, 그 차이를 알아낸 것은 쪼개 본 표 한 장이었습니다.

쪼개 보면 항상 진실에 가까워진다고 읽는 경우가 가장 많습니다. 이 현상을 처음 겪으면 합계를 믿지 않게 되니 자연스러운 반응입니다. 하지만 쪼갤 변수를 잘못 고르면 쪼갠 값이 오히려 왜곡됩니다. 비교 뒤에 생긴 결과로 쪼개면 비교 대상의 성격이 함께 걸러지고, 계속 쪼개면 각 칸의 표본이 작아져 어느 방향으로든 그럴듯한 결론을 만들 수 있습니다. 쪼개기는 무기가 아니라 가설이고, 어떤 변수로 쪼갤지는 비교를 시작하기 전에 적어 둬야 합니다.

통계 교과서에 나오는 드문 사례라고 보는 것도 흔합니다. 이름이 붙어 있고 예시가 정교하니 실무에서는 잘 안 생길 것 같습니다. 실제로는 구성비가 다른 두 집단을 비교하는 일이 매일 일어납니다. 광고를 새로 돌린 주와 돌리지 않은 주, 신규 고객이 몰린 달과 그렇지 않은 달, 기기 구성이 다른 두 실험군이 전부 조건에 들어맞습니다. 이 현상을 특별한 사건으로 기억하면 매일 지나가지만, 합계가 방향과 어긋날 때 쪼개 보는 습관으로 바꾸면 그날 잡힙니다.