최소 검출 효과

실험을 2주 돌리고 나면 "차이가 없었다" 는 결과가 자주 나옵니다. 문제는 이 문장이 둘 중 어느 쪽인지 알 수 없다는 데 있습니다. 바꾼 게 아무 효과도 없었을 수도 있고, 효과는 있었는데 실험이 그걸 잡을 만큼 크지 않았을 수도 있습니다. 두 경우의 결과 화면은 똑같이 생겼습니다.

회의는 늘 이렇게 흘렀습니다. 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트를 2주 돌린 담당자가 "5.0퍼센트랑 5.2퍼센트예요, 효과 없는 걸로 보입니다" 하고 보고하면, 누군가 "그럼 이 실험은 몇 퍼센트 차이부터 잡을 수 있었나요" 하고 물었고 아무도 답하지 못했습니다. 답을 모르니 0.2퍼센트포인트가 실패인지 아무 뜻도 없는 숫자인지 알 수 없었고, 그 기능은 애매한 채로 접혔습니다.

최소 검출 효과는 그 질문을 실험이 끝난 뒤가 아니라 시작하기 전에 던지게 만든 값입니다. 실무에서는 줄여서 MDE 라고 부릅니다. 먼저 계산해 두면 결과가 그보다 작을 때 "효과가 없다" 가 아니라 "이 실험으로는 알 수 없다" 라고 적을 수 있습니다.

계산에는 네 개의 값이 들어갑니다. 지금의 기준 비율, 한 갈래에 모을 사람 수, 우연으로 보기 어렵다고 판단할 문턱인 통계적 유의성, 실제로 차이가 있을 때 그것을 놓치지 않고 잡아낼 확률인 검정력입니다. 넷 중 셋을 고정하면 나머지 하나가 정해집니다. 실무에서는 잡고 싶은 차이를 먼저 정하고 필요한 사람 수를 거꾸로 구합니다.

순서는 다섯 단계입니다.

1. 기준 비율을 확인합니다. 방문 대비 목표 행동을 한 비율인 전환율이 흔한 대상이고, 지금 값이 5퍼센트라고 해 둡니다.
2. 어느 정도 차이가 나면 실제로 배포할지를 정합니다. 상대 10퍼센트, 즉 5.0퍼센트가 5.5퍼센트가 되면 바꾸겠다는 식입니다. 이 숫자가 곧 최소 검출 효과입니다.
3. 판정 기준 두 개를 관행대로 둡니다. 유의성 문턱은 5퍼센트, 검정력은 80퍼센트를 씁니다.
4. 필요 표본 수를 구합니다. 위 조건이면 한 갈래에 약 3만 명이 필요합니다.
5. 사람 수를 기간으로 바꿉니다. 실험에 하루 2,000명이 들어오고 반씩 나누면 한 갈래에 하루 1,000명이니 30일짜리 실험입니다.

사람 수와 차이는 비례하지 않고 제곱으로 맞물립니다. 잡으려는 차이를 절반으로 줄이면 필요한 사람은 두 배가 아니라 네 배가 됩니다. 위 실험에서 목표를 상대 20퍼센트로 느슨하게 잡으면 한 갈래 7,600명이면 되고 기간은 8일로 줄어듭니다. 반대로 상대 5퍼센트까지 보려 하면 한 갈래 12만 명, 넉 달이 걸립니다. 같은 실험이 8일짜리도 되고 넉 달짜리도 되는 갈림길이 2번 단계에 있습니다.

좋은 최소 검출 효과는 작은 값이 아니라 그만한 차이가 났을 때 실제로 결정이 바뀌는 값입니다. 0.1퍼센트포인트까지 잡는 실험을 짜 놓고 그 정도로는 아무도 화면을 바꾸지 않는다면, 넉 달을 들여 쓸 데 없는 정밀도를 산 셈입니다. 그래서 숫자를 정하기 전에 "이만큼 좋아지면 우리가 정말 이걸 내보내나" 를 먼저 묻습니다.

두 번째 기준은 들인 비용입니다. 문구 한 줄을 바꾸는 실험은 작은 효과라도 남길 값이 있지만, 결제 흐름을 새로 만드는 실험이 상대 2퍼센트 개선으로 끝난다면 유지비를 생각할 때 남는 게 없습니다.

세 번째는 기간입니다. 계산 결과가 석 달짜리 실험이면 그 숫자는 대개 쓸 수 없습니다. 새로워서 잠깐 반응이 좋아지는 신기 효과는 2주면 가라앉지만, 더 끌면 계절과 마케팅 예산과 다른 변경이 실험 기간에 섞입니다. 4주를 넘기면 목표를 느슨하게 잡습니다.

방문이 적은 제품은 큰 값만 가질 수 있습니다. 하루 200명이 들어오는 제품에서 상대 10퍼센트를 잡으려면 1년이 넘습니다. 이럴 때는 실험 대신 실제 과업을 시켜 보며 막히는 지점을 찾는 쪽이 낫습니다.

"이 실험은 상대 15퍼센트가 최소 검출 효과예요. 그보다 작은 개선은 있어도 못 잡습니다."

결과가 애매하게 나와도 그건 이 실험의 한계라는 사전 경고입니다.

"MDE 를 5퍼센트로 낮추자는 건 실험을 2주에서 넉 달로 늘리자는 말입니다."

정밀도를 올리자는 요구가 곧 기간 요구라는 것을 환산해서 보여 주는 말입니다.

"결과는 차이 없음이 아니라 최소 검출 효과보다 작았음으로 적어 주세요."

다음 사람이 같은 자리를 다시 팔 수 있도록 결론의 성격을 남기자는 요청입니다.

페이지덱에서 가입 화면의 입력 항목을 다섯 개에서 세 개로 줄이는 실험을 잡을 때 이 값이 먼저 논의됐습니다. 지현이 전환율 5퍼센트, 하루 유입 2,000명을 넣고 계산해 보니 상대 10퍼센트를 잡는 데 30일이 필요했습니다.

태오가 30일이면 그사이 가입 화면을 손댈 다른 일정이 끼어든다고 하자, 지현은 목표를 상대 20퍼센트로 올려 8일짜리로 다시 짰습니다. 대신 이 실험이 20퍼센트 미만은 못 잡는다는 사실을 기록에 함께 적었습니다. 결과는 상대 24퍼센트 개선이었습니다.

가장 흔한 오해는 이 값을 기대 효과로 읽는 것입니다. 문서에 상대 10퍼센트라고 적혀 있으면 팀이 그만큼 좋아질 것으로 본다는 뜻으로 읽히기 쉽습니다. 하지만 이건 예측이 아니라 측정 장비의 눈금입니다. 체중계가 100그램 단위까지 잰다는 사실이 체중이 100그램 늘 것이라는 예측이 아닌 것과 같습니다. 이 둘을 섞으면 결과가 상대 3퍼센트로 나왔을 때 "목표의 3분의 1밖에 못 했다" 는 평가가 나옵니다. 그 실험은 애초에 3퍼센트를 판정할 수 없는 실험이었습니다.

결과가 이 값보다 작게 나왔을 때 효과가 없다고 결론짓는 것도 같은 오해의 뒷면입니다. 숫자가 눈앞에 있으니 그대로 판단하고 싶어지지만, 기준보다 작은 차이는 우연과 구분되지 않습니다. 여기서 "효과 없음" 으로 못 박으면 실제로 효과가 있던 변경을 버리고, 그 기록이 나중에 같은 자리를 파는 사람까지 말립니다. 중간 결과를 보다 앞서는 순간에 멈추는 조기 확인 문제가 우연을 효과로 읽는 실수라면 이쪽은 그 반대입니다. 정확한 문장은 "이 실험으로는 판정할 수 없었다" 입니다.