선택 편향

계산이 다 맞는데 결론이 틀리는 경우가 있습니다. 숫자를 잘못 센 것이 아니라 누구의 숫자를 셌는지가 잘못된 경우입니다.

페이지덱에서 현우가 만족도 설문 조사를 돌린 적이 있습니다. 같은 질문을 다수에게 물어 분포를 보는 조사인데, 응답 412건에 평균 4.6점이 나왔습니다. 현우는 사용자들이 제품에 만족하고 있다고 보고했습니다.

문제는 설문 링크를 앱 안 배너로 띄웠다는 데 있었습니다. 앱을 열지 않는 사람은 배너를 볼 기회가 없었고, 이미 떠난 사람은 더더욱 없었습니다. 4.6점은 앱을 열고 있는 사람들의 점수였습니다. 그달에 해지한 고객 서른 곳의 의견은 한 건도 들어오지 않았습니다.

선택 편향은 이런 상태를 가리키는 이름입니다. 데이터가 모자란 것과는 다릅니다. 모자란 데이터는 더 모으면 되지만, 치우친 방식으로 모은 데이터는 더 모아도 같은 방향으로 더 치우칩니다.

표본을 고르는 방식이 재려는 값과 얽혀 있을 때 생깁니다. 앱을 여는 사람만 설문에 답할 수 있다면, 앱을 여는 정도와 만족도가 얽혀 있으니 표본이 만족한 쪽으로 쏠립니다.

들어오는 자리는 셋입니다.

1. 누구에게 물었는지. 모집 경로가 특정 집단에 닿아 있으면 그 집단의 성질이 그대로 결과가 됩니다. 앱 안 배너, 뉴스레터 수신자 명단, 특정 커뮤니티 게시글이 모두 이런 경로입니다.
2. 누가 답했는지. 같은 사람들에게 물었어도 답하는 사람은 스스로 고릅니다. 만족도 설문에는 매우 만족한 사람과 매우 화난 사람이 답하고 그 사이가 빠집니다. 응답률이 3퍼센트라면 그 3퍼센트가 어떤 사람들인지를 함께 확인해야 합니다.
3. 누구를 분석에 남겼는지. 이상해 보이는 값을 걸러 내는 일이 여기 듭니다. 결과를 보고 나서 기준을 정하면, 걸러 내는 규칙이 원하는 결론 쪽으로 움직입니다. 필터 조건은 데이터를 열기 전에 적어 둡니다.

표본 수를 늘려도 사라지지 않는다는 점이 이 편향의 성질입니다. 필요 표본 수는 결론을 내기 위해 모아야 하는 최소 관측 수인데, 그 수를 채우는 것은 우연을 줄이는 일이지 치우침을 없애는 일이 아닙니다. 412건을 4,000건으로 늘려도 여전히 앱을 여는 사람들의 점수입니다.

확인하는 방법은 표본의 구성을 전체와 대조하는 것입니다. 우리 고객 중 개인 요금제가 70퍼센트인데 응답자의 20퍼센트만 개인 요금제라면 표본이 팀 쪽으로 쏠린 것입니다. 요금제, 가입 시기, 회사 규모처럼 이미 알고 있는 값으로 비율을 맞춰 보면 대개 어느 방향으로 치우쳤는지 드러납니다.

줄이는 방법은 셋입니다. 모집 경로를 여럿으로 벌려 한 경로에 기대지 않게 하고, 응답한 사람과 응답하지 않은 사람을 아는 값으로 비교해 차이를 확인하고, 그래도 남는 치우침은 결론에 함께 적습니다. 만족도 4.6점이 아니라 최근 30일 안에 앱을 연 사용자의 만족도 4.6점이라고 적는 것이 마지막 방법입니다.

가장 자주 나오는 자리는 설문과 인터뷰입니다. 참여자를 모으는 방법이 곧 표본을 고르는 방법이라서, 어디에 공고를 붙였는지가 결과의 절반을 정합니다. 사례비를 걸면 사례비에 반응하는 사람이 모이고, 커뮤니티에 올리면 그 커뮤니티에 있는 사람이 모입니다.

두 번째는 실험입니다. 두 안을 비교할 때 어느 쪽에 누가 들어갈지를 무작위로 정하지 않으면 결과를 비교할 수 없습니다. 새 화면을 먼저 신청한 사람에게만 보여 주고 기존 화면과 비교하면, 신청할 만큼 적극적인 사람과 그렇지 않은 사람을 비교한 셈이 됩니다. 그 차이는 화면이 만든 것이 아닙니다.

세 번째는 고객 사례와 추천 지표입니다. 만족한 고객에게만 인터뷰를 요청하고 그것을 모아 제품이 잘 팔리는 이유를 설명하면, 설명에 쓰인 재료가 이미 결론을 담고 있습니다.

네 번째는 학습 데이터를 모으는 자리입니다. 모델을 학습시킬 자료를 특정 집단에서만 모으면 그 치우침이 결과로 이어지고, 이쪽은 AI 편향이라는 이름으로 따로 다룹니다. 학습 데이터의 치우침이 결과 차별로 이어지는 문제입니다.

"이 설문 앱 안에서만 돌렸어요. 떠난 사람 의견은 안 들어옵니다."

모집 경로가 특정 집단에 닿아 있다는 지적입니다.

"응답률이 3퍼센트인데 이 결과를 전체로 말하긴 어렵습니다."

답한 사람이 전체와 다를 수 있다는 뜻입니다.

"이상값 기준은 데이터 열기 전에 정해 두죠."

결과를 보고 필터를 정하면 결론이 움직인다는 말입니다.

페이지덱은 앞의 일을 겪은 뒤 만족도 설문을 두 갈래로 나눴습니다. 앱 안 배너는 그대로 두고, 해지한 고객에게는 메일로 따로 물었습니다. 메일 쪽 응답률은 11퍼센트로 낮았지만 그 11퍼센트에서 나온 이야기가 달랐습니다. 권한 관리가 부족해서 나갔다는 답이 절반이었습니다.

이후 보고서 양식도 바꿨습니다. 점수 옆에 응답자 수와 응답률, 그리고 응답자의 요금제 구성비를 함께 적게 했습니다. 지현이 이 칸을 요구한 이유는 점수가 아니라 이 칸을 보고 결론의 범위를 판단하기 때문입니다.

표본을 늘리면 해결된다고 여기는 경우가 가장 많습니다. 통계에서 표본이 클수록 좋다는 말을 들어 왔으니 자연스러운 오해입니다. 하지만 크기와 방향은 다른 문제입니다. 치우친 경로로 열 배를 모으면 같은 방향의 결론이 더 단단해 보이고, 그래서 더 위험해집니다. 응답 4,000건짜리 보고서는 412건짜리보다 반박하기 어렵습니다. 늘릴 것은 표본 수가 아니라 모집 경로의 수입니다.

무작위로 뽑으면 없어진다고 보는 것도 흔합니다. 뽑는 단계를 무작위로 하면 첫 번째 자리는 막힙니다. 그런데 뽑힌 사람 중 누가 답하는지는 여전히 스스로 정합니다. 1만 명에게 무작위로 보냈는데 300명이 답했다면 그 300명은 무작위가 아닙니다. 그래서 무작위 추출을 했더라도 응답률과 응답자 구성을 함께 봐야 합니다. 이 단계를 건너뛰면 무작위로 뽑았다는 사실이 오히려 결론을 과하게 믿는 근거로 쓰입니다.