퍼스트 클릭 테스트

메뉴 배치를 정하는 회의는 오래도록 취향 싸움이었습니다. 내보내기를 상단에 둘지 문서 메뉴 안에 둘지를 놓고 두 사람이 각자의 감으로 30분을 주장하고, 목소리가 큰 쪽으로 결론이 났습니다. 다음 달에 문의가 들어오면 그제야 틀렸다는 것을 알았습니다.

확인할 방법이 없었던 건 아닙니다. 사용성 테스트를 돌리면 사람이 어디서 막히는지 보입니다. 다만 한 사람에 한 시간, 모집에 두 주가 듭니다. 메뉴 하나의 위치를 정하려고 매번 치르기는 어려운 값입니다. 그래서 작은 결정은 확인 없이 지나갔고, 그것들이 쌓여 정보 구조가 어긋났습니다.

퍼스트 클릭 테스트는 재는 대상을 하나로 줄여 이 값을 낮춘 방법입니다. 끝까지 해내는지를 보지 않고 첫 클릭 하나만 봅니다. 그래도 쓸모가 있는 이유는 첫 클릭이 맞은 사람과 틀린 사람 사이에 과업 성공률 차이가 크게 벌어진다는 관찰 때문입니다. 첫 발을 잘못 디딘 사람은 되돌아 나오지 못하는 경우가 많고, 그래서 첫 클릭 하나가 나머지를 상당 부분 알려 줍니다.

과업 문장을 정하는 것부터 시작합니다. 여섯 단계로 돌아갑니다.

1. 과업을 한 문장으로 적습니다. "회사 결제 카드를 바꾸려고 합니다. 어디를 누르시겠습니까" 처럼 목적만 말하고 수단은 말하지 않습니다. "설정에서 결제 정보를 찾아 보세요" 라고 적으면 답을 알려 준 셈이 됩니다.
2. 화면 한 장을 준비합니다. 완성된 화면이 아니어도 되고 와이어프레임이면 충분합니다. 클릭해도 아무 일이 일어나지 않게 만들어 둡니다. 다음 화면이 뜨면 첫 클릭만 재는 조사가 아니게 됩니다.
3. 정답 영역을 미리 정합니다. 건너뛰면 결과를 보고 나서 정답을 정하게 되고, 무엇을 확인하려 했는지가 흐려집니다. 정답은 둘 이상일 수도 있습니다. 상단 메뉴와 사이드바 양쪽에서 같은 자리로 갈 수 있으면 둘 다 정답입니다.
4. 참여자를 모읍니다. 비율을 읽는 조사라 다섯 명으로는 부족하고, 보통 30명 이상을 목표로 합니다. 30명이면 정답률이 40퍼센트인지 80퍼센트인지는 충분히 갈립니다.
5. 돌리면서 클릭 위치와 걸린 시간을 함께 기록합니다. 좌표는 도구가 모아 줍니다.
6. 두 숫자를 읽습니다. 정답 영역을 누른 사람의 비율, 그리고 클릭까지 걸린 시간입니다. 시간은 정답률이 같은 두 시안 중 어느 쪽이 덜 망설이게 하는지를 알려 줍니다.

읽을 때 볼 것은 정답률보다 오답이 어디로 갔는지입니다. 오답 60퍼센트가 한곳에 몰렸다면 그 자리 항목의 이름이 사용자에게 내가 찾는 것처럼 읽혔다는 뜻이라, 고칠 곳이 바로 나옵니다. 오답이 화면 전체에 흩어졌다면 특정 항목이 아니라 화면이 단서를 못 주는 것이고, 이때는 배치를 다시 짭니다.

이 방법이 맞는 자리는 좁고 분명합니다. 화면이 있고, 거기서 어디로 가야 하는지가 한 번에 읽히는지 확인하고 싶을 때입니다. 시안 두세 개 중 어느 쪽이 나은지 고르는 자리에서 특히 값이 큽니다. 같은 과업을 같은 인원에 돌려 정답률을 견주면 취향 논쟁이 숫자 비교로 바뀌고, 며칠 안에 결과가 나옵니다.

반대로 맞지 않는 자리가 셋 있습니다.

첫째, 왜 그렇게 눌렀는지를 알고 싶을 때입니다. 이 방법은 숫자를 모으는 정량 조사 쪽이라 이유가 남지 않습니다. 정답률이 낮다는 것은 알려 주지만 그 이름이 왜 오해를 사는지는 알려 주지 않습니다. 이유가 필요하면 진행자가 옆에서 되묻는 모더레이티드 테스트를 몇 건 붙입니다.

둘째, 여러 단계를 거치는 흐름을 볼 때입니다. 첫 클릭만 재므로 세 화면을 지나는 과업에서는 두 번째 화면 이후가 보이지 않습니다. 첫 클릭이 맞았는데 세 번째 화면에서 전부 이탈하는 흐름을 이 방법으로는 잡지 못합니다.

셋째, 분류 자체가 맞는지 물을 때입니다. 메뉴를 어떻게 묶을지 정하는 단계라면 화면이 아직 없으니 사용자가 직접 항목을 묶게 하는 카드 소팅이 먼저입니다. 퍼스트 클릭 테스트는 정해진 배치를 확인하는 쪽이지 배치를 만들어 주지는 않습니다.

"퍼스트 클릭으로 두 시안 돌려 보고 정하죠. 이틀이면 나옵니다."

취향으로 갈린 결정을 숫자로 옮기자는 말입니다.

"정답률 38퍼센트면 이 이름으로는 안 됩니다."

메뉴 이름이 목적을 전달하지 못한다는 판정입니다.

"오답이 전부 프로필 아이콘으로 갔어요. 사람들은 계정 설정이 거기 있다고 생각하는 거예요."

오답이 몰린 위치에서 사용자의 기대를 읽어 낸 말입니다.

페이지덱에서 민서가 이 방법을 꺼낸 건 관리자 화면 개편 때였습니다. 팀 초대를 내비게이션 상단에 둘지 워크스페이스 설정 안에 둘지로 회의가 두 번 돌았고, 두 번 다 결론이 나지 않았습니다. 민서는 와이어프레임 두 장을 만들고 "새 팀원을 초대하려고 합니다" 라는 과업 하나로 각각 40명에게 돌렸습니다.

상단 안은 정답률 71퍼센트, 설정 안은 34퍼센트였습니다. 여기까지는 예상대로였는데, 설정 안의 오답 중 절반이 상단의 구성원 아이콘 자리로 갔습니다. 사람들이 초대를 찾을 때 먼저 보는 곳이 거기라는 뜻이라, 민서는 상단 안을 고르면서 초대 버튼을 그 아이콘 옆에 붙였습니다. 두 번째 시안의 정답률은 89퍼센트였습니다. 회의 두 번으로 못 끝낸 결정이 사흘 만에 끝났습니다.

정답률이 높으면 그 화면이 잘 만들어졌다고 읽는 경우가 많습니다. 숫자가 높으니 좋다는 판단은 자연스럽습니다. 하지만 이 조사는 과업 하나에 대한 첫 클릭 하나만 잰 값입니다. 초대 찾기 정답률 89퍼센트인 화면이 결제 정보 찾기에서는 20퍼센트일 수 있습니다. 한 과업의 점수를 화면 전체의 점수로 읽으면 다른 과업의 문제를 확인도 안 한 채 넘기게 됩니다.

첫 클릭이 틀리면 그 사람은 실패한 것으로 보는 오해도 있습니다. 실제로는 뒤로 가기를 누르고 다시 시도해 결국 해내는 사람도 있습니다. 이 방법이 기대는 관찰은 첫 클릭을 틀린 사람이 반드시 실패한다는 것이 아니라 성공률이 눈에 띄게 낮아진다는 것입니다. 정답률 60퍼센트를 과업 실패 40퍼센트로 옮겨 적으면 안 됩니다. 실제 성공률이 궁금하면 끝까지 시켜 보는 조사를 따로 돌립니다.