정성 조사

기록에 남는 숫자는 무엇이 일어났는지까지만 말해 줍니다. 페이지덱의 초대 화면에서 절반이 초대를 보내지 않고 나간다는 사실은 로그를 열면 나옵니다. 그런데 그 절반이 왜 나갔는지는 어느 화면에도 적혀 있지 않습니다.

그 자리에서 회의는 추측 대회가 됩니다. 페이지덱도 그랬습니다. 지현은 초대할 이메일을 모아 오지 않아서라고 봤고, 태오는 권한 칸이 어려워서라고 봤고, 민서는 버튼이 눈에 안 띈다고 봤습니다. 다섯 가지 가설이 나왔고 다 그럴듯했습니다. 그럴듯한 가설 다섯 개는 어느 것을 먼저 고칠지 정해 주지 않습니다.

정성 조사는 그 왜를 사람에게서 직접 받아 오는 방법입니다. 숫자를 더 모으는 대신 사람 수를 줄이고 한 사람에게 오래 머무릅니다. 지현이 여덟 팀을 만나 보니 초대할 사람의 회사 이메일 주소를 모르는 경우가 가장 많았습니다. 다섯 가설에 없던 답이었고, 로그로는 나오지 않을 답이었습니다.

몇 사람을 직접 만나거나 지켜보면서 최근에 실제로 한 일을 듣고, 그 발언과 행동을 주제로 묶어 반복되는 것을 찾아내는 방식입니다. 다섯 단계입니다.

1. 알고 싶은 것을 질문 한 문장으로 적습니다. 사용자를 이해하자는 문장이 아니라, 폴더를 만들어 놓고 쓰지 않는 팀은 문서를 어떻게 찾는지처럼 답이 나올 수 있는 문장이어야 합니다.
2. 방법을 고릅니다. 경험을 듣는 자리라면 고객 인터뷰로 한 사람을 한 시간쯤 만나고, 어디서 막히는지 눈으로 봐야 한다면 사용성 테스트로 실제 과업을 시켜 봅니다. 기억나지 않아 빠지는 일상적인 사용은 다이어리 스터디로 2주쯤 기록하게 해서 잡고, 책상 위 사정까지 봐야 하면 필드 리서치로 현장에 갑니다.
3. 누구에게 물을지를 조건으로 적고 모읍니다. 최근 한 달 안에 문서를 열 개 이상 만든 5인 이상 팀의 관리자처럼 적고 그 조건으로 뽑습니다. 리서치 리크루팅이 이 단계이고 일정의 절반쯤을 여기서 씁니다.
4. 만나서 묻습니다. 이런 기능이 있으면 쓰겠느냐가 아니라 지난주에 그 일을 마지막으로 했을 때 어떻게 했는지를 묻습니다. 진행하는 사람과 기록하는 사람을 나눕니다. 혼자 하면 다음 질문을 생각하느라 방금 들은 말을 놓칩니다.
5. 정리해서 결정으로 잇습니다. 발언을 주제별로 묶고 주제마다 몇 명에게서 나왔는지를 적습니다. 여덟 명 중 여섯 명인 주제와 한 명인 주제는 다르게 다룹니다. 그리고 무엇을 바꿀지, 무엇을 더 알아볼지, 무엇을 안 바꾸기로 했는지를 적습니다. 이 줄이 없으면 보고서만 남습니다.

사람 수는 생각보다 적게 듭니다. 같은 조건의 사용자를 다섯에서 여덟 명쯤 만나면 대개 같은 말이 반복되기 시작하고, 그 지점부터 새로 알게 되는 것이 빠르게 줄어듭니다. 대신 여기서 나온 것으로 비율을 말하지는 않습니다.

값이 가장 큰 자리는 무엇을 만들지가 아직 갈리지 않은 때입니다. 방향이 둘로 나뉘어 어느 쪽인지 모를 때, 이미 낸 기능을 왜 안 쓰는지 모를 때, 처음 들어온 사용자가 어디서 멈추는지 모를 때가 그렇습니다.

숫자가 먼저 나온 뒤에 붙는 자리도 많습니다. 이탈률이 지난달보다 8퍼센트 올랐다는 사실은 기록에 남지만 이유는 남지 않습니다. 떠난 사용자 여섯 명을 만나면 대개 한두 가지 이유가 반복해 나옵니다.

반대로 쓰지 않는 자리도 분명합니다. 세 가지입니다.

1. 답이 이미 기록에 있는 질문 — 가입 화면에서 몇 퍼센트가 빠져나가는지는 로그를 열면 나옵니다. 여기에 여덟 명을 불러 앉히면 2주를 쓰고도 같은 숫자를 못 얻습니다.
2. 고칠 여지가 없는 것 — 결제 모듈을 못 바꾸는 분기에 결제 화면을 조사하면 고칠 수 없는 문제 목록만 남습니다.
3. 때를 놓친 자리 — 결정이 끝난 뒤에 나온 결과는 입력이 아니라 보고서입니다. 그래서 일정은 팀이 골라야 하는 날짜에서 거꾸로 잡고, 그때까지 답이 안 나올 질문이면 나올 만큼 좁힙니다.

"왜 안 쓰는지는 로그로 안 나와요. 여덟 명만 만나 보고 정합시다."

이유를 알아야 하는 질문이니 사람을 만나자는 제안입니다.

"그건 정성으로 나온 숫자예요. 여섯 명이라는 뜻이고 75퍼센트가 아닙니다."

소수 표본에서 나온 값을 비율로 옮기지 말라는 정정입니다.

"쓰겠느냐고 묻지 말고 지난주에 어떻게 했는지 물어 주세요."

미래에 대한 답은 맞지 않으니 실제 행동을 묻자는 요청입니다.

페이지덱은 초대 화면 문제를 이 방식으로 풀었습니다. 지현이 질문 한 문장을 적고 최근 한 달 안에 팀을 만든 관리자 여덟 명을 한 시간씩 만났고, 태오가 기록을 맡았습니다.

여섯 번째 인터뷰에서 같은 말이 반복되기 시작했습니다. 회사 이메일 주소를 모른다는 이야기가 다섯 번, 권한 칸이 어렵다는 이야기가 한 번 나왔습니다. 그래서 다음 분기에 손댄 것은 권한 칸이 아니라 이름만 입력하면 사내 주소록에서 찾아 주는 기능이었습니다.

표본이 적어 믿을 수 없는 조사라고 보는 경우가 가장 많습니다. 여덟 명으로 전체를 말한다는 것이 이상하게 들리니 자연스러운 오해입니다. 그런데 이 조사가 내놓는 것은 비율이 아니라 작동 원리입니다. 이메일 주소를 모른다는 사실은 한 사람에게서도 확인되고, 확인된 순간 고칠 것이 정해집니다. 이 오해를 그대로 두면 팀은 왜인지 모르는 문제를 설문으로 보내고, 무엇을 물을지 몰라 쓴 문항에서 쓸 수 없는 답을 받습니다.

사용자에게 무엇을 원하는지 물어보는 일이라고 보는 것도 흔합니다. 사용자를 만나는 조사이니 그렇게 읽힙니다. 하지만 사람은 자기 행동을 정확히 기억하지 못하고, 앞에 앉은 사람 기분에 맞춰 답을 바꿉니다. 특히 앞으로 어떻게 하겠느냐는 질문의 답은 거의 맞지 않습니다. 쓰겠다고 답한 열 명 중 실제로 쓰는 사람이 둘인 일이 흔합니다. 그래서 묻는 대상을 최근에 실제로 한 일로 잡고, 말과 행동이 어긋날 수 있는 자리는 관찰로 확인합니다.