표본

알고 싶은 것은 전체인데 전체를 다 볼 수 없는 상황이 늘 있었습니다. 사용자 만 명이 새 화면을 어떻게 느끼는지 알려면 만 명에게 물어야 하는데, 만 명이 답하지 않고 답한다 해도 읽을 수 없습니다. 사용성 테스트는 한 명에 한 시간이 걸리니 만 명은 불가능한 숫자입니다.

그래서 일부만 보고 말하기 시작했습니다. 문제는 그 일부가 전체와 다를 수 있다는 데 있었습니다. 다섯 명에게 물어 다들 이 기능을 원한다고 결론 내린 회의가 있었는데, 다섯 명이 모두 같은 팀에서 초대받아 들어온 사람이었습니다. 그 팀이 원하는 것이 만 명이 원하는 것과 같다는 근거는 어디에도 없었습니다.

일부를 뽑는 일 자체가 아니라 어떻게 뽑았는지가 결론의 값을 정한다는 것이 여기서 드러났습니다. 표본은 그 뽑은 묶음에 붙은 이름이고, 이름을 따로 두는 이유는 뽑는 방법과 개수를 매번 적어 두게 만들기 위해서입니다.

대상 전체를 먼저 정하고, 그 안에서 뽑는 방법과 개수를 정합니다. 다섯 가지를 챕니다.

1. 대상 전체를 문장으로 적습니다. 알고 싶은 대상 전체를 모집단이라 하는데, "우리 사용자" 는 모집단이 아닙니다. "지난 30일에 한 번 이상 로그인한 유료 계정 사용자" 가 모집단입니다. 이 문장이 없으면 결론을 누구에게 적용할 수 있는지도 정해지지 않습니다.
2. 뽑는 방법을 정합니다. 기준은 무작위입니다. 모집단 안의 누구나 뽑힐 확률이 같아야 그 묶음이 전체를 대표합니다. 손에 닿는 사람부터 뽑으면 표본을 고르는 과정에서 치우침이 생기고, 이것을 선택 편향이라 합니다. 사무실에 있는 동료 다섯 명에게 물어본 결과가 가장 흔한 사례입니다.
3. 개수를 정합니다. 무엇을 재려는지에 따라 크게 다릅니다. 비율을 숫자로 말하려면 수백에서 수천 명이 필요하고, 막히는 지점을 찾는 것이 목적이면 다섯 명으로 충분합니다. 같은 다섯 명으로 두 가지를 다 하려 하면 뒤쪽만 맞습니다.
4. 결과에 폭을 붙입니다. 표본에서 나온 값은 점이 아니라 범위입니다. 참값이 들어 있을 것으로 보는 범위를 신뢰 구간이라 하고, 100명 중 40명이 그렇다고 답했으면 40퍼센트가 아니라 30에서 50퍼센트 사이라고 적습니다. 폭을 빼고 40퍼센트만 적으면 다음 달에 34퍼센트가 나왔을 때 떨어졌다고 읽게 됩니다.
5. 답하지 않은 사람을 셉니다. 5,000명에게 설문을 보내 200명이 답했다면 표본은 5,000명이 아니라 200명입니다. 그리고 그 200명은 답할 만큼 관심이 있는 사람들이라, 전체와 다른 쪽으로 치우쳐 있을 가능성이 높습니다.

목적이 둘로 갈리고, 필요한 개수도 따라 갈립니다. 하나는 숫자를 재는 것이고 다른 하나는 문제를 찾는 것입니다.

숫자를 재는 쪽에는 큰 표본이 필요합니다. 같은 질문을 다수에게 물어 분포를 보는 설문 조사나, 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트가 여기 속합니다. A/B 테스트에서 표본이 작으면 두 안의 차이가 우연과 구별되지 않아 실험이 아무 답도 주지 않습니다. 전환율 3퍼센트짜리 화면에서 의미 있는 차이를 보려면 한쪽에 수천 명이 필요합니다.

문제를 찾는 쪽은 작은 표본으로 됩니다. 실제 과업을 시켜 보며 막히는 자리를 찾는 사용성 테스트는 다섯 명이면 큰 문제가 대부분 드러납니다. 셋이 같은 자리에서 멈추면 그것은 고칠 문제이고, 여기에 스무 명을 더 붙여도 같은 문제를 스무 번 더 볼 뿐입니다. 다만 이 다섯 명으로 비율을 말하면 안 됩니다. 다섯 명 중 셋은 60퍼센트가 아니고, 그 숫자를 보고서에 적으면 읽는 사람이 근거 없는 확신을 얻습니다.

기록 데이터는 대개 전수라는 점도 알아 둘 만합니다. 클릭 기록이나 주문 기록은 일부를 뽑는 것이 아니라 전부가 남아 있으니 표본을 정할 일이 없습니다. 다만 분석 도구가 데이터가 많을 때 일부만 계산해 보여 주는 경우가 있어서, 화면에 표시된 값이 전수인지 일부인지 확인하는 습관이 필요합니다.

"다섯 명 중 셋이 막혔어요. 고칠 문제는 맞는데 60퍼센트라고 쓰지는 마세요."

같은 표본으로 할 수 있는 말과 못 하는 말을 갈랐습니다.

"5,000명에게 보내 200명이 답했어요. 표본은 200명입니다."

응답률을 빼고 세면 안 된다는 지적입니다.

"이 화면은 초대로 들어온 사람만 뽑혔네요."

뽑는 과정에 치우침이 있다는 뜻입니다.

페이지덱은 두 가지를 갈라 씁니다. 민서가 사용성 테스트를 할 때는 다섯 명을 쓰고 결과를 막히는 자리 목록으로만 적습니다. 지현이 만족도를 숫자로 볼 때는 무작위로 뽑은 400명에게 보내고 결과에 폭을 붙입니다.

한 번은 이 구분이 없어 문제가 된 적이 있습니다. 사용성 테스트 다섯 명 중 넷이 새 화면을 좋다고 했고, 그 결과가 "80퍼센트가 만족" 으로 투자 자료에 실릴 뻔했습니다. 지현이 그 자리에서 문장을 뺐고, 그 뒤로 표본 개수와 뽑는 방법을 결과 옆에 항상 적기로 했습니다.

표본이 크면 정확하다고 보는 경우가 가장 많습니다. 숫자가 크면 믿을 만해 보이고, 실제로 개수가 늘면 폭이 좁아지는 것도 맞습니다. 하지만 개수는 뽑는 방법 다음입니다. 치우친 방법으로 5만 명을 모으면 5만 명짜리 잘못된 결론이 나오고, 폭이 좁아진 탓에 그 결론이 더 확실해 보입니다. 특정 커뮤니티에 설문 링크를 올려 3만 명을 모은 조사가 대표적입니다. 개수는 무작위로 뽑았다는 조건이 지켜진 뒤에야 정확도를 올립니다.

작은 표본이면 아무 말도 못 한다고 보는 시각도 있습니다. 앞의 오해와 반대 방향이고 이쪽도 자주 나옵니다. 다섯 명으로 비율을 말할 수는 없지만 문제가 있다는 사실은 말할 수 있습니다. 셋이 같은 버튼을 못 찾았다면 그 버튼은 찾기 어려운 것이고, 이 결론에 표본 크기는 필요하지 않습니다. 작은 표본이라는 이유로 결과를 접은 팀은 이미 알아낸 문제를 다시 알아내려고 몇 주를 더 씁니다. 표본 크기는 무엇을 말할 수 있는지를 정하는 값이지, 말할 수 있는지 없는지를 정하는 값이 아닙니다.