정량 조사

사용자에게서 들은 말을 그대로 근거로 쓰던 시절이 있었습니다. 인터뷰한 다섯 명 중 셋이 검색이 불편하다고 말하면 그 문장이 "사용자들이 검색을 불편해한다" 로 옮겨 적혔습니다. 회의에서는 그 말이 힘을 가졌지만, 판단에 필요한 정보가 빠져 있었습니다.

빠진 것은 규모였습니다. 요청이 두 건 들어왔을 때 어느 쪽을 먼저 만들지 정하려면 각각 몇 명에게 걸리는 문제인지를 알아야 합니다. 그런데 "고객들이 계속 요청해요" 라는 말에 "몇 명이요" 라고 되물으면 대답이 나오지 않았습니다. 다섯 명 중 셋이라는 사실과 2만 명 중 1만 2천 명이라는 사실은 전혀 다른 결정을 부르는데, 앞의 조사는 뒤의 문장을 만들 수 없습니다.

정량 조사는 그 자리를 메우려고 따로 세운 갈래입니다. 사용자 조사는 무엇을 얻는지에 따라 둘로 갈리는데, 왜 그렇게 행동하는지를 말과 관찰로 알아내는 쪽이 정성 조사고 그것이 얼마나 흔한 일인지를 숫자로 재는 쪽이 이것입니다. 둘은 고르는 선택지가 아니라 순서가 있는 짝입니다.

같은 질문을 충분히 많은 사람에게 던지거나 이미 쌓인 행동 기록을 세서, 답을 비율로 만듭니다. 절차는 다섯 단계입니다.

1. 질문을 숫자로 답할 수 있는 형태로 바꿉니다. "검색이 불편한가" 는 셀 수 없고, "지난 30일에 검색을 쓴 사용자 중 결과를 하나도 누르지 않고 나간 비율" 은 셀 수 있습니다.
2. 재는 방법을 고릅니다. 묻는 쪽은 같은 문항을 다수에게 던지는 설문 조사이고, 지켜보는 쪽은 제품 안의 행동을 기록으로 남기는 이벤트 수집입니다. 단계마다 몇 명이 빠져나가는지를 보려면 퍼널 분석을 씁니다. 말과 행동이 다를 때는 행동 쪽이 믿을 만합니다.
3. 몇 명이 필요한지 계산합니다. 결론을 내기 위해 모아야 하는 최소 관측 수를 필요 표본 수라고 합니다. 열 명에게 물어 60퍼센트라고 적으면 그 숫자는 여섯 명이라는 뜻이고, 한 사람만 달라져도 50이나 70으로 흔들립니다.
4. 모으고 셉니다. 여기서 자주 깨지는 것은 누구를 모았는지입니다. 제품 안에서만 설문을 띄우면 이미 떠난 사람은 응답에 들어오지 않아서, 남아 있는 사람의 의견이 전체 의견처럼 보입니다.
5. 우연인지 확인합니다. 두 값의 차이가 우연으로 보기 어려운 수준인지 판단하는 기준이 통계적 유의성입니다. 200명을 두 편으로 나눠 52퍼센트와 48퍼센트가 나왔다면 그 차이는 아직 말할 수 없는 크기입니다.

이 조사가 답하지 못하는 것이 하나 있습니다. 비율은 알려 주지만 이유는 알려 주지 않습니다. 검색 후 이탈이 34퍼센트라는 값은 그 34퍼센트가 왜 나갔는지를 설명하지 않고, 그 답은 사람을 만나는 쪽에서만 나옵니다.

비율이 결정을 가르는 자리에 들어갑니다. 실무에서 반복되는 자리는 네 곳입니다.

만들 순서를 정하는 자리가 첫째입니다. 요청 두 건 중 한쪽은 전체 사용자의 18퍼센트에게, 다른 쪽은 0.4퍼센트에게 걸리는 문제라면 순서 논쟁이 대개 끝납니다.

둘째는 바꾼 것이 나았는지 판정하는 자리입니다. 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트가 정량 조사의 한 형태입니다. 판정 기준을 미리 정하고 필요한 인원이 모일 때까지 기다리는 것이 조건입니다.

셋째는 사람들이 어디서 멈추는지 찾는 자리입니다. 가입에서 첫 문서 작성까지 네 단계가 있고 두 번째 단계에서 절반이 빠져나간다면, 손댈 곳이 거기라는 것을 이 조사가 가리킵니다.

넷째는 상태를 계속 추적하는 자리입니다. 추천 의향을 물어 계산하는 순추천지수나 한 달 동안 제품을 쓴 사람 수인 월간 활성 사용자처럼, 같은 방식으로 매달 재서 흐름을 보는 숫자들입니다.

반대로 쓰기 어려운 자리도 분명합니다. 아직 없는 기능에 대한 반응, 사용자가 무엇을 불편해하는지에 대한 설명은 이 방식으로 얻을 수 없습니다. 그럴 때는 정성 조사로 무슨 일이 벌어지는지 알아내 가설을 만들고, 그다음에 정량으로 그 일이 얼마나 자주 일어나는지를 잽니다. 순서를 뒤집으면 설문 문항을 무엇으로 채울지부터 막힙니다.

"그게 전체의 몇 퍼센트예요?"

말로 들은 문제의 크기를 숫자로 확인하자는 요청입니다.

"표본이 40명이라 이 차이는 아직 말하기 어려워요."

값의 차이가 우연일 수 있으니 결론으로 쓰지 말자는 제동입니다.

"설문으로는 비율까지만 나와요. 왜인지는 인터뷰로 따로 봐야 합니다."

방법이 답할 수 있는 범위를 넘어선 질문이라는 지적입니다.

페이지덱에서 검색을 고치기로 한 분기에 이 순서가 그대로 돌았습니다. 지현이 사용자 여덟 명을 만나 검색 결과를 믿지 못해 폴더를 직접 뒤진다는 말을 들었고, 그다음에 그 일이 얼마나 흔한지를 재기로 했습니다.

기록을 세 보니 검색을 쓴 사용자의 34퍼센트가 결과를 하나도 누르지 않고 창을 닫고 있었습니다. 여덟 명에게 들은 이야기가 2만 명 중 6천 명대의 문제로 확인된 것입니다.

숫자가 이유까지 알려 준다고 믿는 경우가 가장 많습니다. 값이 정확하게 나오니 설명도 함께 나온 것처럼 느껴집니다. 하지만 34퍼센트는 무슨 일이 일어나는지만 말하고 왜 그런지는 말하지 않습니다. 이유를 숫자에서 읽어 내려 하면 대개 만든 사람의 짐작이 들어가고, 그 짐작으로 고친 기능은 숫자가 그대로인 채 다음 분기로 넘어갑니다.

사람 수가 많으면 믿을 수 있다고 보는 것도 흔합니다. 3천 명이 답한 설문은 마흔 명이 답한 설문보다 든든해 보입니다. 그런데 흔들리는 것은 수보다 출처입니다. 3천 명이 모두 제품에 남아 있는 사용자라면 떠난 사람의 이유는 한 건도 들어 있지 않습니다. 이탈률이 문제인 상황에서 이 설문을 근거로 쓰면, 남은 사람들이 만족한다는 결과를 보며 떠나는 사람을 놓칩니다.