모더레이티드 테스트

화면이 쓸 만한지를 두고 팀 안에서 의견이 갈리면 결론이 잘 나지 않습니다. 민서는 초대 화면의 버튼 위치가 분명하다고 보고 지현은 눈에 안 띈다고 보는데, 둘 다 그 화면을 백 번쯤 본 사람이라 누가 맞는지 확인할 길이 없습니다. 목소리가 큰 쪽이나 직급이 높은 쪽으로 기울고, 출시한 뒤에 문의가 들어오면 그제야 알게 됩니다.

설문으로 대신해 보기도 합니다. "이 화면이 쓰기 편했습니까" 를 다섯 칸 척도로 묻고 평균 3.8 이 나왔습니다. 그 숫자로는 무엇을 고쳐야 할지 알 수 없습니다. 사람들은 자기가 어디서 막혔는지 정확히 기억하지 못하고, 막혔다는 사실 자체를 자기 탓으로 돌려 불편을 덜 말합니다.

모더레이티드 테스트는 이 간극을 사람을 직접 보는 것으로 메웁니다. 의견을 묻는 대신 실제로 시켜 보고, 막히는 순간을 눈으로 확인하고, 그 자리에서 무엇을 찾고 있었는지 되묻습니다. 나오는 결과가 평균 3.8 이 아니라 "다섯 명 중 네 명이 초대 버튼을 오른쪽 위에서 먼저 찾았다" 가 되므로 다음에 고칠 것이 바로 나옵니다.

다섯 단계로 돌립니다. 준비가 절반이고, 실제로 사람을 만나는 시간은 한 사람에 한 시간 안팎입니다.

1. 알고 싶은 것을 한 문장으로 적습니다. "초대 화면을 평가한다" 는 질문이 아닙니다. "초대할 사람의 메일 주소를 모르는 사용자가 초대를 끝내는가" 가 질문입니다.
2. 조건에 맞는 참여자를 모읍니다. 대개 여기가 가장 오래 걸립니다. 유료 플랜을 쓰는 30인 팀의 관리자 다섯 명을 구하려면 두 주를 잡습니다. 인원은 다섯 명이 기본이고, 사용자 유형이 둘로 갈리면 유형마다 다섯 명을 봅니다.
3. 진행 계획을 적고 동료를 상대로 한 번 예행합니다. 과업 문장과 되물을 질문을 미리 적어 두는 자리입니다. 여기서 "이 버튼 찾기 쉽죠?" 같은 유도 질문을 걸러 냅니다. "이 버튼을 찾아 보세요" 로 바꾸면 의견 대신 행동이 돌아옵니다.
4. 진행합니다. 과업을 주고 생각을 소리 내어 말해 달라고 부탁한 뒤 지켜봅니다. 참여자가 멈춰 있을 때 힌트를 주고 싶어지지만 그 침묵이 이 방법의 알맹이입니다. 30초를 기다렸다가 "지금 무엇을 찾고 계세요" 하고 묻습니다. 화면은 녹화하고, 관찰한 것은 해석을 섞지 말고 그대로 적습니다.
5. 다섯 건을 모아 함께 봅니다. 여러 사람에게서 반복된 막힘을 골라 우선순위를 매깁니다. 끝에 남아야 하는 것은 보고서가 아니라 다음에 고칠 목록입니다.

막히는 이유까지 알아야 할 때 씁니다. 어디서 막혔는지는 화면 기록만 봐도 알 수 있지만, 왜 그랬는지는 그 자리에서 되물어야 나옵니다. 아직 만들지 않은 프로토타입을 두고도 돌릴 수 있어서, 개발에 들어가기 전에 흐름을 고칠 때 값이 가장 큽니다. 가입 직후처럼 처음 오는 사람만 겪는 흐름도 이 방법이 아니면 보기 어렵습니다.

다섯 명으로 충분한 이유는 이것이 정성 조사이기 때문입니다. 정성 조사는 왜 그렇게 행동하는지를 말과 관찰로 잡아내는 쪽이라 결과가 문장으로 남습니다. 같은 자리에서 세 명이 연달아 막히면 그것으로 고칠 근거는 충분합니다.

한계는 셋입니다.

1. 비쌉니다. 한 사람에 한 시간이 들고, 일정을 맞추고 사례를 지급하는 품이 따로 붙습니다.
2. 숫자를 내지 못합니다. 다섯 명 중 네 명이 막혔다는 말은 전체 사용자의 80퍼센트가 막힌다는 뜻이 아닙니다. 비율이 필요하면 정량 조사로 따로 재야 하고, 이쪽은 수십에서 수백 명이 필요합니다.
3. 진행자가 결과를 흔듭니다. 참여자는 앞에 앉은 사람에게 잘 보이고 싶어 하고, 진행자가 무심코 화면 한쪽을 보기만 해도 시선이 따라갑니다. 예행을 거치는 이유가 여기 있습니다.

그래서 같은 축의 다른 방법을 상황에 따라 바꿔 씁니다. 이유가 아니라 성공률만 필요하고 사람을 많이 봐야 하면 언모더레이티드 테스트가 맞습니다. 참여자가 혼자 수행하고 화면 녹화와 말소리만 남는 방식이라 하루에 열 명도 돌릴 수 있는 대신 막힌 자리에서 되물을 수 없습니다. 당장 내일 답이 필요하면 게릴라 테스트로 카페에서 5분짜리를 돌립니다. 실제 사용자가 아닐 확률이 높아 세밀한 판단에는 못 쓰고, 큰 문제만 싸게 걸러 냅니다.

"다섯 명 중 네 명이 초대 버튼을 오른쪽 위에서 먼저 찾았어요."

버튼 위치를 두고 갈리던 의견이 관찰로 정리됐다는 뜻입니다.

"이번 건은 이유를 알아야 해서 모더레이티드로 갑시다."

성공률만 세는 방식 대신 되물을 수 있는 방식을 택하자는 제안입니다.

"참여자 모집이 두 주 걸려서 테스트는 다음 스프린트에 붙일게요."

방법 자체보다 사람 구하는 일이 일정을 정한다는 말입니다.

페이지덱에서는 새 흐름을 만들 때 민서가 개발 착수 전에 한 번 돌립니다. 지난 분기 초대 화면이 그랬습니다. 다섯 명 중 네 명이 초대 버튼을 화면 오른쪽 위에서 먼저 찾았는데 실제 버튼은 목록 아래에 있었고, 세 번째 참여자가 "여기 어디 있을 줄 알았는데" 하고 말한 뒤로는 관찰실에서 더 논쟁이 없었습니다.

지현과 태오도 관찰실에 함께 앉습니다. 다섯 건을 다 본 사람은 굳이 보고서를 기다리지 않고, 고칠 항목을 정하는 자리에서 같은 장면을 근거로 씁니다.

사용자에게 무엇이 좋은지 물어보는 자리로 읽는 경우가 많습니다. 사람을 앉혀 놓고 한 시간을 쓰니 의견을 듣는 자리처럼 보입니다. 하지만 이 방법이 모으는 것은 의견이 아니라 행동입니다. 사람들은 자기가 무엇을 할지 잘 예측하지 못해서, 이 버튼이 있으면 쓰겠냐고 물으면 대개 쓰겠다고 답하고 실제로는 안 씁니다. 질문을 의견 쪽으로 돌리면 한 시간을 쓰고도 고칠 목록이 남지 않습니다.

다섯 명으로는 부족하다고 읽는 것도 흔합니다. 설문이나 실험에서 수백 명을 보는 것에 익숙하면 당연한 반응입니다. 하지만 세는 목적이 다릅니다. 여기서 찾는 것은 비율이 아니라 막히는 자리이고, 심각한 막힘은 대개 앞의 몇 명에게서 반복해 나타납니다. 인원을 스물로 늘리면 같은 장면을 열다섯 번 더 보게 되고, 그 시간에 고쳐서 다시 돌리는 편이 빠릅니다. 다만 두 안 중 어느 쪽 성공률이 높은지를 숫자로 말해야 한다면 다섯 명으로는 못 합니다.