리서치 리크루팅

조사 방법을 정하는 것보다 사람을 앉히는 것이 어렵다는 사실은 한 번 해 보면 드러납니다. 방법은 하루면 고르는데 사람은 2주가 지나도 다섯 명이 안 모입니다. 그래서 초기에는 손에 닿는 사람을 부르는 선택을 합니다. 옆자리 동료, 친구, 예전 직장 사람입니다.

페이지덱의 첫 사용성 테스트가 그랬습니다. 옆 팀 다섯 명을 회의실로 불러 앉혔는데 아무도 막히지 않았습니다. 다섯 모두 사내에서 이 제품을 쓰던 사람이라 버튼 위치를 이미 알고 있었기 때문입니다. 결과는 문제가 없다는 것이었고, 그 뒤 실제 사용자 문의에서는 같은 화면에서 막혔다는 말이 계속 들어왔습니다.

그래서 지현이 조건을 문장으로 적었습니다. 이 제품을 처음 보는, 5인 이상 팀의 관리자입니다. 조건을 적은 순간부터 사람을 구하는 일이 별도의 작업이 됐습니다. 리서치 리크루팅은 이 작업에 붙은 이름이고, 실무에서 조사 일정의 절반쯤을 차지합니다.

조건을 정하는 것에서 시작해 약속 시각에 나타나게 만드는 것으로 끝납니다. 여섯 단계입니다.

1. 조건을 문장으로 적습니다. 사용자라고만 쓰면 아무나 고르게 되니, 최근 한 달 안에 문서를 열 개 이상 만든 5인 이상 팀의 관리자처럼 셀 수 있는 조건으로 씁니다. 뒤에 이 문장으로 사람을 걸러 냅니다.
2. 몇 명이 필요한지 정합니다. 왜 그렇게 행동하는지를 말과 관찰로 알아내는 정성 조사는 다섯에서 여덟 명이면 같은 말이 반복되기 시작하고, 비율을 말해야 하는 조사는 수백 명이 필요합니다.
3. 여기에 나타나지 않을 사람을 얹습니다. 약속을 하고도 오지 않는 비율이 보통 두세 명에 한 명꼴입니다. 여섯 명과 이야기하려면 여덟에서 아홉 명을 확정해 둡니다. 이 여유를 빼먹으면 마지막 날에 인터뷰 두 건이 빈 채로 조사가 끝납니다.
4. 어디서 찾을지 고릅니다. 제품 안의 사용자 목록에서 조건으로 뽑는 방법이 가장 싸고, 지난 참여자 명부를 둔 리서치 옵스 체계가 있으면 거기서 먼저 봅니다. 조건에 맞는 사람이 사내 데이터에 없으면 참여자를 모아 두고 중개하는 업체를 씁니다.
5. 걸러 내는 질문을 만듭니다. 조건을 그대로 묻지 않는 것이 요령입니다. 문서 관리가 불편하시냐고 물으면 그렇다고 답할 사람만 남고, 지난주에 문서를 몇 개 만들었냐고 물으면 사실이 나옵니다.
6. 약속을 잡고 사례비와 녹화를 안내합니다. 얼마를 언제 어떤 방식으로 주는지, 무엇을 녹화하고 어디까지 쓰는지를 미리 알리고 동의를 받습니다. 하루 전과 한 시간 전에 한 번씩 알리면 나타나지 않는 비율이 눈에 띄게 줄어듭니다.

누구를 부를지는 알고 싶은 것이 정합니다. 크게 세 부류이고 각각에서 알 수 있는 것이 다릅니다. 지금 쓰는 사람은 어디가 불편한지를 알려 주고, 쓰다 떠난 사람은 왜 그만뒀는지를 알려 주며, 아직 쓰지 않는 사람은 무엇이 있어야 시작할지를 알려 줍니다. 이탈 이유를 알고 싶은데 지금 잘 쓰는 사람만 모으면 2주를 쓰고도 원래 알던 것만 확인합니다.

부르지 않는 쪽도 정해 둡니다. 지인과 사내 구성원은 제품을 이미 알거나 아는 사람 앞에서 말을 고르게 되니 결과가 휩니다. 매번 응해 주는 단골도 피합니다. 같은 사람이 다섯 번째 앉으면 사용자가 아니라 이 조사에 익숙한 사람이 되고, 참여자 명부에 연락 이력을 적어 두는 이유가 여기 있습니다.

시점은 팀이 결정을 내려야 하는 날짜에서 거꾸로 잡습니다. 리크루팅에 2주를 두고 그 앞에 조건 정하기, 뒤에 실행과 정리를 붙입니다. 방법에 따라 잡는 방식도 달라집니다. 한 사람을 한 시간쯤 만나는 고객 인터뷰와 과업을 시켜 보는 사용성 테스트는 사람마다 시각을 따로 약속해야 해서 달력을 맞추는 데 며칠이 듭니다. 2주 동안 스스로 기록을 남기게 하는 다이어리 스터디는 중간에 그만두는 사람이 나오므로 필요 인원보다 더 넉넉히 잡습니다.

"리크루팅에 2주 잡아 주세요. 조건이 좁아서 여덟 명 채우려면 그 정도 걸립니다."

일정의 절반이 사람 모으는 데 들어간다는 것을 미리 알리는 말입니다.

"스크리너에서 문서 관리가 불편하시냐는 문항은 빼죠. 그렇다고 답할 사람만 옵니다."

걸러 내는 질문이 참여자를 한쪽으로 치우치게 만든다는 지적입니다.

"여섯 명과 이야기하려고 아홉 명 확정했습니다. 안 나오는 분이 꼭 있어서요."

나타나지 않는 비율을 감안해 필요 인원보다 넉넉히 잡았다는 뜻입니다.

페이지덱은 두 번째 사용성 테스트부터 방식을 바꿨습니다. 지현이 제품 안에서 최근 한 달 동안 문서를 열 개 이상 만든 5인 이상 팀의 관리자를 뽑고, 사내 계정과 지난 90일 안에 연락한 사람을 먼저 빼냈습니다. 남은 명단에 안내를 보내 아홉 명을 확정했고 실제로 일곱 명이 왔습니다.

민서가 그 일곱 명을 앉혀 보니 첫 번째 테스트와 결과가 달랐습니다. 다섯 명이 같은 화면에서 멈췄고, 멈춘 자리는 그동안 문의로 들어오던 자리와 같았습니다.

사람을 많이 모으면 된다고 생각하는 경우가 가장 많습니다. 숫자가 많으면 결과가 튼튼해 보이니 그렇게 읽힙니다. 하지만 조건에 맞지 않는 여덟 명은 아무 말도 해 주지 않습니다. 옆 팀 다섯 명을 앉힌 첫 테스트가 그런 경우였고, 그 조사는 사람이 적어서가 아니라 대상이 달라서 아무것도 알려 주지 않았습니다. 조건을 좁혀 세 명을 만나는 편이 조건 없이 열 명을 만나는 편보다 낫습니다. 이 구분을 놓치면 조사를 돌렸다는 기록만 남고 다음 결정은 여전히 감으로 내려갑니다.

사례비를 올리면 잘 모인다는 생각도 흔합니다. 안 모일 때 가장 먼저 떠오르는 손잡이가 금액이라 그렇습니다. 실제로는 금액을 크게 올리면 조건을 거짓으로 답하는 사람이 늘어납니다. 관리자가 아닌데 관리자라고 답하고 오는 식입니다. 금액은 시간에 대한 대가만큼 맞추고, 대신 걸러 내는 질문을 사실로 묻는 문항으로 바꾸고 찾는 자리를 늘리는 편이 답이 됩니다. 이 순서를 뒤집으면 참여자는 쉽게 채워지고 결과는 못 쓰게 됩니다.