세션 리플레이

숫자는 어디서 빠져나갔는지는 알려 주지만 무엇을 하다가 빠져나갔는지는 알려 주지 않습니다. 화면에 들어온 사람이 100명이고 다음 단계로 넘어간 사람이 60명이라는 기록에서 읽을 수 있는 것은 40명이 사라졌다는 사실뿐입니다. 그 40명이 어느 칸에서 손을 멈췄는지, 무엇을 세 번 눌렀는지는 로그에 남지 않습니다.

페이지덱의 초대 화면이 그런 자리였습니다. 들어온 사람의 40퍼센트가 아무것도 저장하지 않고 나갔습니다. 민서가 사용성 테스트를 돌려 봤지만 참여자들은 문제없이 초대를 끝냈습니다. 새로 모집한 참여자는 안내대로 회사 메일 주소를 준비해 온 사람들이었고, 실제로 막히던 사용자와 조건이 달랐습니다.

세션 리플레이를 붙이고 실제 세션 열 개를 본 뒤에 답이 나왔습니다. 사용자들은 메일 주소 칸에 동료의 이름을 적고 있었습니다. 오류 문구는 칸 아래 회색 작은 글자로 떠 있었는데, 화면을 세 번 훑고도 그것을 찾지 못한 사람이 여섯 명이었습니다. 로그에는 저장 실패조차 남지 않았습니다. 저장 버튼을 누르지 않고 나갔기 때문입니다.

전부 보려 하지 않는 것에서 시작합니다. 하루에 세션이 수천 개 쌓이는 제품에서 순서대로 재생하면 아무 결론도 나오지 않습니다. 다섯 단계로 진행합니다.

1. 무엇을 알고 싶은지 한 문장으로 적습니다. 초대 화면을 살펴본다는 문장이 아니라, 초대를 시작한 사용자가 저장까지 가지 못하는 이유가 무엇인가로 적습니다. 이 문장이 다음 단계의 걸림 조건이 됩니다.
2. 볼 세션을 걸러 냅니다. 조건은 보통 넷입니다. 그 화면을 거쳤는지, 오류가 떴는지, 끝내지 않고 나갔는지, 같은 자리를 짧은 시간에 여러 번 눌렀는지입니다. 마지막 것은 반응 없는 화면을 두드리는 장면이라 문제의 표지가 됩니다.
3. 열에서 스무 개를 봅니다. 빠른 배속으로 넘기다가 손이 멈춘 자리에서만 되돌려 다시 봅니다. 한 세션을 온전히 보는 데 3분에서 10분이 드니, 볼 개수를 정해 두지 않으면 하루가 갑니다.
4. 본 것을 표로 남깁니다. 세션 번호와 시각, 그 자리에서 무슨 일이 있었는지를 한 줄로 적습니다. 같은 장면이 열 개 중 세 개 이상에서 반복되면 문제 목록에 올립니다. 한 번 나온 장면은 그 사람의 사정일 수 있습니다.
5. 이유를 확인하는 조사로 잇습니다. 화면은 무엇이 일어났는지만 보여 주므로, 왜 그랬는지는 고객 인터뷰로 묻거나 같은 과업을 시켜 보는 사용성 테스트로 확인합니다.

붙일 때 함께 정할 것이 있습니다. 입력한 글자가 그대로 녹화되므로 비밀번호와 결제 정보, 문서 내용처럼 남기면 안 되는 것을 가리도록 설정합니다. 개인을 특정할 수 있는 데이터인 개인 식별 정보를 어디까지 지우고 녹화를 언제까지 보관할지 정해 두고, 개인정보처리방침에 이 수집을 적습니다.

이미 쓰는 사용자가 있고 특정 화면의 숫자가 나쁜 이유를 모를 때 가장 잘 맞습니다. 재현이 안 되는 버그 문의에서도 값이 큽니다. 무엇을 눌렀는지 기억하지 못하는 고객의 화면을 직접 볼 수 있기 때문입니다.

반대로 안 맞는 자리가 셋입니다. 아직 사용자가 없는 제품은 볼 것이 없어 돌아가지 않습니다. 비율을 말해야 하는 질문에도 못 씁니다. 세션 스무 개에서 여섯 개가 막혔다는 것은 30퍼센트라는 뜻이 아닙니다. 만들기 전의 시안을 검증하는 자리도 아닙니다. 아직 화면이 없으니 녹화될 것이 없습니다.

한계는 넷입니다.

1. 이유를 알려 주지 않습니다. 마우스가 멈춘 것은 보이지만 그 순간 무엇을 찾고 있었는지는 추측으로 남습니다.
2. 표본이 치우칩니다. 오래 머무는 사용자의 세션이 더 많이 쌓이므로, 걸러 내지 않고 보면 열심히 쓰는 사람들만 보게 됩니다.
3. 시간이 듭니다. 스무 개를 보는 데 반나절이 들고, 그 반나절로 얻는 것은 비율이 아니라 장면입니다.
4. 녹화가 빠지는 자리가 있습니다. 다른 사이트를 끼워 넣은 영역이나 직접 그리는 화면은 재생되지 않거나 뭉개져 나옵니다.

숫자로 답해야 하는 질문은 정량 조사 쪽에 맡기고, 이쪽은 그 숫자가 왜 그런지 짚을 곳을 찾는 데 씁니다.

"이탈 세션 스무 개만 골라서 보죠. 어디서 멈추는지는 화면을 봐야 압니다."

숫자로는 더 알 수 없으니 장면을 보자는 제안입니다.

"같은 버튼을 세 번 누르는 장면이 열 개 중 여섯 개에서 나왔습니다."

반복해서 관찰된 행동이라 개인 사정이 아니라 화면 문제라는 뜻입니다.

"리플레이 켜기 전에 결제 화면 입력값은 가려 주세요."

녹화에 남으면 안 되는 개인 정보를 먼저 막자는 요청입니다.

민서는 이제 숫자가 나쁜 자리를 만나면 리플레이부터 봅니다. 사용성 테스트는 참여자를 모아 앉히는 데 2주가 드는데, 실제 세션은 오늘 쌓인 것을 지금 볼 수 있기 때문입니다.

다만 리플레이만으로 결론을 내지는 않습니다. 초대 화면 건에서도 민서는 장면을 보고 가설을 세운 뒤, 같은 조건의 사용자 다섯 명을 불러 같은 과업을 시켜 봤습니다. 오류 문구를 못 찾는다는 가설은 그 자리에서 확인됐고, 문구를 칸 옆에 큰 글자로 옮긴 뒤 저장까지 가는 비율이 올랐습니다.

많이 볼수록 답이 나온다고 생각하는 경우가 가장 많습니다. 녹화가 쌓여 있으니 오래 볼수록 더 알게 될 것처럼 보입니다. 그런데 순서대로 백 개를 재생하면 대부분은 문제없이 일을 끝낸 장면입니다. 답을 가르는 것은 본 개수가 아니라 걸러 낸 조건입니다. 조건 없이 보기 시작하면 반나절을 쓰고도 고칠 자리를 하나도 적지 못합니다.

사용자를 감시하는 장치로 읽는 것도 흔합니다. 화면이 그대로 녹화된다는 말을 들으면 나올 만한 걱정입니다. 실제로 보는 것은 누가 무엇을 했는지가 아니라 어느 화면에서 손이 멈추는지이고, 그래서 입력값을 가리고 보관 기간을 정해 두는 설정이 기본으로 따라옵니다. 이 설정을 건너뛰면 걱정이 사실이 됩니다. 비밀번호와 문서 내용이 녹화에 남고, 그 기록이 새면 조사에서 얻은 것보다 잃는 것이 큽니다.