게릴라 테스트

사용성 테스트를 제대로 돌리려면 시간이 걸립니다. 조건에 맞는 참여자를 모으는 데만 두 주가 들고, 사례비를 챙기고 일정을 맞추고 진행 계획을 쓰고 나면 첫 사람을 만나기까지 한 달이 지나 있습니다. 결과가 좋은 대신 화면 하나를 고치려고 치르기에는 큰 비용입니다.

그래서 팀은 작은 결정을 그냥 회의에서 정하곤 했습니다. 페이지덱에서도 그랬습니다. 민서가 초대 화면 시안 두 개를 놓고 어느 쪽이 나은지 물었을 때, 지현은 왼쪽이 명확하다고 했고 태오는 오른쪽이 익숙하다고 했습니다. 둘 다 근거는 자기 경험이었고, 결론은 목소리가 큰 쪽으로 기울었습니다. 한 달을 들여 조사할 만한 결정은 아닌데, 그렇다고 회의에서 정할 결정도 아니었습니다.

게릴라 테스트는 그 사이를 메우려고 나온 방식입니다. 조사의 정확도를 낮추는 대신 값을 극단적으로 싸게 만들었습니다. 참여자를 모으지 않고 사람이 이미 모여 있는 곳으로 가고, 사례비 대신 커피 한 잔을 주고, 한 사람에게 5분만 씁니다. 오후 두 시간이면 여섯 명에게 화면을 보여 줄 수 있고, 여섯 명 중 넷이 같은 자리에서 멈추면 그 자리는 회의에서 더 다툴 것이 없습니다.

준비부터 정리까지 반나절 안에 끝나도록 다섯 단계로 돌립니다.

1. 알고 싶은 것 하나를 문장으로 적습니다. 초대 화면을 평가한다는 질문이 아닙니다. 초대할 동료의 메일 주소를 모르는 사람이 초대를 끝낼 수 있는가가 질문입니다. 5분 안에 답이 나오는 크기여야 하고, 두 개 이상이면 둘 다 흐려집니다.
2. 보여 줄 것과 시킬 것을 준비합니다. 실제 화면이 없어도 되고 프로토타입이면 충분합니다. 시킬 일은 한두 개로 줄입니다. 이 화면에서 동료 한 명을 초대해 보세요 정도가 적당합니다.
3. 사람이 모이는 곳으로 갑니다. 카페, 사무실 로비, 코워킹 스페이스, 행사장이 흔한 자리입니다. 1분 정도 걸리는 테스트라고 줄여 말하지 않고 5분이라고 정확히 말하는 편이 중간에 일어서는 일을 줄입니다.
4. 과업을 주고 지켜봅니다. 여기서 지키는 것이 하나 있습니다. 답을 알려 주지 않는 것입니다. 손이 멈췄을 때 버튼이 위에 있다고 말해 주고 싶어지지만, 그 순간이 바로 얻으러 온 장면입니다. 대신 지금 무엇을 찾고 계신지 묻습니다.
5. 그 자리에서 한 줄로 적습니다. 다섯 명쯤 돌면 기억이 섞이므로 사람마다 끝나자마자 어디서 멈췄는지 적어 둡니다. 돌아와서는 여섯 명 중 몇 명이 같은 자리에서 멈췄는지만 세면 됩니다.

사람 수는 대여섯이면 충분합니다. 같은 자리에서 네 명이 멈추면 고칠 근거가 되고, 여섯 명이 다 다른 곳에서 멈추면 화면이 아니라 질문이 잘못됐을 가능성이 큽니다.

맞는 자리는 아무 사전 지식 없이도 판단할 수 있는 화면입니다. 가입 화면의 버튼 이름, 랜딩 페이지가 무슨 서비스인지 전달하는지, 안내 문구가 읽히는지 같은 것입니다. 5초 테스트처럼 짧게 끝나는 방법을 같은 자리에서 얹어 돌리기도 합니다. 시안 두 개 중 고르는 결정, 출시 직전에 발견한 문구 하나도 이 방식으로 반나절에 답이 납니다.

안 맞는 자리가 더 분명합니다.

1. 업무 맥락이 필요한 화면. 결제 관리자가 회사 카드를 바꾸는 흐름을 카페에서 붙잡은 사람에게 시키면, 그 사람이 막히는 이유는 화면이 어려워서가 아니라 그런 일을 해 본 적이 없어서입니다.
2. 오래 써 봐야 드러나는 문제. 2주째에 알림이 성가셔지는지, 문서가 200개 쌓였을 때 검색이 쓸 만한지는 5분으로 알 수 없습니다.
3. 숫자가 필요한 결정. 여섯 명 중 넷이라는 값은 비율이 아닙니다. 사용자의 몇 퍼센트가 막히는지 말하려면 정량 조사가 필요하고, 그쪽은 수십에서 수백 명을 봅니다.

한계를 한 줄로 줄이면 참여자가 우리 사용자가 아니라는 것입니다. 그래서 이 방식으로 얻은 것은 결론이 아니라 신호입니다. 넷이 같은 자리에서 멈췄다는 사실은 그 자리를 고칠 근거가 되지만, 아무도 안 멈췄다는 사실은 문제가 없다는 증거가 되지 못합니다.

"이건 게릴라로 돌려 보죠. 오늘 오후에 카페에서 다섯 명만."

정식 조사를 잡지 말고 반나절 안에 답을 보자는 제안입니다.

"게릴라로 여섯 명 봤는데 넷이 같은 데서 멈췄어요."

표본은 작지만 한 자리에 몰렸으니 고칠 근거로 쓰자는 보고입니다.

"그건 게릴라로는 안 나와요. 우리 사용자가 아니잖아요."

업무 맥락이 필요한 화면이라 지나가는 사람으로는 확인할 수 없다는 지적입니다.

페이지덱에서는 민서가 화면을 크게 고칠 때마다 근처 카페에서 한 번씩 돌립니다. 초대 화면을 고쳤을 때는 여섯 명 중 다섯 명이 메일 주소 입력칸 앞에서 멈췄습니다. 이유는 같았습니다. 동료의 회사 메일 주소를 외우고 있지 않아서였습니다. 그 자리에서 나온 요구는 화면을 예쁘게 고치는 것이 아니라 링크를 복사해 전달하는 방법을 하나 더 두라는 것이었습니다.

다음 날 민서가 그 장면을 회의에서 말했을 때 시안 논쟁은 더 이어지지 않았습니다. 다섯 명이 같은 자리에서 멈췄다는 문장이 각자의 경험담보다 셌기 때문입니다.

여섯 명으로 정한 결론을 전체 사용자의 판단으로 옮겨 적는 경우가 흔합니다. 직접 본 장면이라 숫자보다 생생하게 남아서 그렇게 됩니다. 하지만 카페에서 붙잡은 여섯 명은 조건에 맞춰 고른 사람이 아니라 그 시간에 그 자리에 있던 사람입니다. 사용자의 80퍼센트가 여기서 막힌다는 문장으로 옮기는 순간 틀린 근거가 되고, 그 문장으로 잡힌 우선순위는 실제로 더 급한 일을 뒤로 밀어냅니다.

싸니까 정식 조사를 대신할 수 있다고 읽는 것도 흔합니다. 같은 사용성 테스트라는 이름이 붙어 있으니 축소판처럼 보입니다. 실제로는 얻는 것이 다릅니다. 모더레이티드 테스트는 조건에 맞는 사람에게 한 시간을 써서 왜 그렇게 했는지까지 듣고, 이쪽은 아무나 붙잡아 5분 만에 어디서 멈추는지만 봅니다. 앞의 것을 이걸로 대체한 팀은 큰 문제만 계속 고치면서 정작 자기 사용자만 겪는 문제는 발견하지 못합니다.