설문 조사

사람을 만나 듣는 조사만 있던 시절에는 들은 이야기가 회의실에서 비율로 바뀌는 일이 잦았습니다. 여섯 명을 만나 넷이 같은 불편을 말했으면 보고서에는 자연스럽게 다수라는 말이 붙습니다. 여섯 명에게서 나온 넷으로는 전체에서 몇 할이 그런지 말할 수 없는데, 듣는 쪽은 그 숫자를 분포로 받아들입니다.

페이지덱에서 그 어긋남이 그대로 걸렸습니다. 지현이 인터뷰 여섯 건을 근거로 문서를 폴더로 묶는 기능을 제안했는데, 규원이 그런 사람이 전체에서 몇 명쯤인지를 물었습니다. 여섯 명 중 넷이라는 답으로는 개발자 두 명의 한 달을 배정할 근거가 되지 못했고, 그 제안은 분기 우선순위에서 밀렸습니다.

설문 조사는 그 자리를 메우는 방법입니다. 왜 그런지는 사람을 만나 알아내는 조사가 답하고, 얼마나 그런지는 같은 질문을 수백 명에게 똑같이 던져 답합니다. 앞쪽이 정성 조사이고 뒤쪽이 정량 조사인데, 설문은 뒤쪽에서 가장 자주 쓰는 수단입니다.

답이 나오면 무엇을 결정할지 한 문장으로 적는 데서 시작합니다. 이 문장이 없으면 문항이 계속 늘어나고, 다 모은 뒤에 어느 값을 봐야 할지 정하지 못합니다.

절차는 여섯 단계입니다.

1. 판단 기준을 먼저 적습니다. 문서를 못 찾은 적이 있다는 답이 40퍼센트를 넘으면 이번 분기에 만들고, 그 아래면 미룬다는 식으로 선을 그어 둡니다.
2. 물을 대상을 정합니다. 전체 가입자에게 보낼지, 가입 30일이 지난 계정에만 보낼지에 따라 값이 달라집니다. 조건에 맞는 참여자를 모으는 일이 리서치 리크루팅이고, 설문에서는 명단을 어떻게 자르는지가 그 일입니다.
3. 문항을 씁니다. 5문항에서 10문항 사이로 줄이고, 한 문항에는 한 가지만 묻습니다. 속도와 안정성을 한 문항에 같이 넣으면 낮은 점수가 어느 쪽 때문인지 알 수 없습니다.
4. 다섯 명에게 미리 돌려 봅니다. 같은 문항을 다르게 이해하는 자리가 여기서 드러납니다. 자주 쓰냐는 문항을 누구는 매일로, 누구는 주에 한 번으로 읽습니다.
5. 보내고 응답률을 함께 기록합니다. 1,200명에게 보내 94명이 답했으면 응답률은 8퍼센트입니다.
6. 분포를 읽습니다. 자유 서술 칸의 답은 따로 모아 같은 말끼리 묶습니다.

값 하나로 줄이지 않는 것이 요령입니다. 5점 척도의 평균이 3.8이라는 값만 남기면 답한 사람들이 어떻게 갈렸는지가 사라집니다. 1점과 5점에 각각 몰려 있어도 평균은 3.8이 나오는데, 그때 실제로 3.8인 사람은 아무도 없습니다. 이 경우에 해야 할 일은 개선이 아니라 두 집단이 무엇이 다른지를 가려내는 것입니다.

무엇을 물어야 할지 이미 알고 있고 그것이 얼마나 퍼져 있는지만 남았을 때 맞습니다. 앞선 인터뷰에서 나온 말 가운데 어느 것이 흔한 일이고 어느 것이 한 사람의 사정인지를 가릴 때가 대표적입니다. 추천 의향을 물어 점수로 바꾸는 NPS처럼 같은 문항을 분기마다 반복해 흐름을 보는 자리에도 씁니다.

맞지 않는 자리는 셋입니다.

1. 왜 그런지를 알아내는 일. 설문의 답은 미리 만들어 둔 보기 안에서만 나옵니다. 보기 밖의 이유는 애초에 고를 수 없으니 고객 인터뷰로 물어야 합니다.
2. 쓰는 모습을 보는 일. 어디서 막히는지는 말로 물어 나오지 않습니다. 과업을 시켜 보며 관찰하는 사용성 테스트가 그 자리를 맡습니다.
3. 앞으로 쓸 것인지 묻는 일. 미래의 의향은 실제 행동과 자주 어긋납니다. 쓰겠다고 답한 사람이 92퍼센트였던 기능의 출시 후 사용률이 4퍼센트로 나오는 일이 드물지 않습니다.

한계도 미리 알고 시작합니다. 답한 사람만 답한다는 것이 첫째입니다. 아주 만족한 사람과 화가 난 사람이 먼저 답하고 아무 생각 없이 쓰는 대다수는 답하지 않습니다. 문항이 답을 만든다는 것이 둘째입니다. 속도가 느려 불편한 적이 있느냐고 물으면 없던 불편도 떠올리게 됩니다. 표본이 작을 때 집단을 쪼개면 값이 무너진다는 것이 셋째입니다.

"보기 순서를 사람마다 무작위로 섞읍시다. 지금은 맨 위에 둔 항목이 계속 1위로 나옵니다."

순위가 사용자의 선호가 아니라 문항 설계에서 나왔을 수 있다는 지적입니다.

"응답 94건 중 40건이 같은 말을 자유 서술에 썼어요. 보기에 없던 항목입니다."

미리 만든 보기가 실제 문제를 담지 못했다는 뜻입니다.

"표본이 94명인데 플랜별로 쪼개면 각 서른 명 안쪽이에요. 전체 값으로만 말하겠습니다."

숫자를 더 잘게 나눠 보자는 요구를 거절하는 말입니다.

앞서 밀렸던 폴더 제안을 지현이 설문으로 다시 들고 왔습니다. 가입 30일이 지난 계정 1,200곳에 6문항을 보내 94건을 받았습니다. 문서를 못 찾아 다시 만든 적이 있다는 답이 62퍼센트였고, 그 일이 주 1회 이상이라는 답은 39퍼센트였습니다. 미뤄 둘 규모가 아니라는 것이 이 두 값으로 정해졌습니다.

정작 만들 것이 바뀐 것은 자유 서술 칸 때문이었습니다. 폴더를 달라고 쓴 사람은 열한 명이었고, 제목을 정확히 몰라 검색으로 못 찾았다고 쓴 사람이 마흔 명이었습니다. 지현은 폴더 대신 문서 안의 문장까지 찾는 검색을 먼저 만들기로 했습니다.

숫자가 나왔으니 근거가 단단하다고 읽는 경우가 가장 많습니다. 퍼센트는 확정된 사실처럼 보이고 소수점이 붙으면 더 그렇습니다. 그런데 그 값은 문항과 명단이 함께 만든 것입니다. 같은 사람들에게 표현만 바꿔 물어도 값이 20퍼센트포인트씩 움직입니다. 이 사정을 적어 두지 않으면 아무도 숫자를 반박하지 못하고, 결정이 사실상 문항을 쓴 사람에게 넘어갑니다.

응답 수가 많으면 대표성이 생긴다고 읽는 것도 흔합니다. 많이 모을수록 정확해진다는 말이 어디에나 통할 것처럼 들리기 때문입니다. 하지만 3,000명이 답했어도 전원이 매일 쓰는 사용자라면 가입 첫 주에 떠난 사람들의 사정은 한 줄도 들어 있지 않습니다. 이 상태를 알아차리지 못하면 이미 만족한 사람들의 요청만 다음 분기 목록에 올라가고, 정작 떠나는 쪽의 이유는 계속 비어 있습니다.