다이어리 스터디

인터뷰에서 "지난주에 문서 찾을 때 어떻게 하셨어요" 라고 물으면 답은 대체로 매끈합니다. 검색창에 제목을 치고 열었다는 식이죠. 그런데 그 사람의 화면을 실제로 따라가 보면 메신저에서 링크를 뒤지고, 못 찾아 동료에게 묻고, 결국 같은 문서를 새로 만든 흔적이 나옵니다. 거짓말을 한 게 아니라 기억이 그렇게 남지 않았을 뿐입니다.

기억은 특별한 일만 남깁니다. 크게 화났던 순간은 선명한데, 매일 세 번씩 겪는 사소한 불편은 이야기로 만들어지지 않아 사라집니다. 고객 인터뷰는 한 사람을 한 시간쯤 만나 경험을 듣는 방법인데, 그 한 시간 안에 떠오르는 것만 재료가 됩니다. 주간 보고를 쓰는 리듬, 월말에만 생기는 정산 작업처럼 시간을 두고 벌어지는 일도 한 시점에 앉아서는 보이지 않습니다.

다이어리 스터디는 나중에 묻는 대신 겪는 자리에서 받아 적게 하는 방법입니다. 사용자에게 2주쯤 기록을 부탁하고 그 일이 벌어진 순간에 짧게 남기게 합니다. 기억을 거치지 않으니 사소한 것이 사라지지 않고, 기간이 있으니 주기적으로만 나타나는 일도 표에 들어옵니다.

질문을 한 문장으로 좁히고, 기록 형식과 계기를 정하고, 참여자를 모아 며칠 시험한 뒤 본 기간을 돌리고, 끝나면 한 번 만나는 순서로 돕니다.

1. 알고 싶은 것을 한 문장으로 좁힙니다. "사용자를 이해하고 싶다" 가 아니라 "5인 이상 팀의 관리자가 남이 만든 문서를 찾을 때 실제로 무엇을 하는가" 처럼 답이 나올 수 있는 문장이어야 합니다. 이 문장이 기록 항목을 결정합니다.
2. 무엇을 언제 남길지 정합니다. 계기는 "문서를 찾으려 할 때마다" 처럼 사건 기준이거나 "매일 저녁 한 번" 처럼 시간 기준입니다. 형식은 3분 안에 끝나야 합니다. 질문 세 개와 사진 한 장 정도가 상한이고, 그보다 길면 사흘째부터 기록이 끊깁니다.
3. 참여자를 모읍니다. 리서치 리크루팅은 조건에 맞는 참여자를 모으는 일인데, 다이어리 스터디는 부담이 큰 만큼 중간에 빠지는 사람을 미리 감안합니다. 여덟 명의 기록이 필요하면 열두 명으로 시작하고 사례비도 인터뷰 한 번보다 높게 잡습니다.
4. 사흘쯤 시험해 봅니다. 두세 명에게 먼저 돌려 보면 질문이 이해되는지, 정해 둔 계기가 실제로 일어나는지가 드러납니다. 2주를 다 돌린 뒤에 질문이 잘못됐다는 걸 알면 처음부터 다시입니다.
5. 본 기간을 돌리면서 매일 들어오는 기록을 읽습니다. 이틀 이상 비면 연락합니다. 기록이 끊긴 게 바빠서인지 그 상황이 안 생겨서인지는 전혀 다른 정보입니다.
6. 끝나고 한 번 만납니다. 기록은 짧아서 왜 그랬는지가 빠져 있습니다. 참여자의 기록을 같이 펼쳐 놓고 "이날 여기서 그만두셨는데 무슨 일이 있었나요" 를 물으면 그 자리에서 맥락이 붙습니다.

시간에 걸쳐 흩어져 일어나는 일을 볼 때 맞습니다. 며칠에 한 번씩 반복되는 습관, 주나 월 단위로만 나타나는 작업, 한 번에 끝나지 않고 며칠에 걸쳐 이어지는 과업이 그렇습니다. 왜 그렇게 하는지를 말과 관찰로 알아내는 정성 조사에 속해서 사람 수는 적어도 됩니다. 조건이 비슷한 참여자 여덟 명쯤이면 같은 이야기가 반복되기 시작합니다.

맞지 않는 자리도 있습니다. 첫째, 한 화면 안에서 끝나는 문제에는 과합니다. 가입 화면에서 어디가 헷갈리는지는 사용성 테스트로 다섯 명에게 시켜 보면 그날 나옵니다. 2주를 쓸 이유가 없습니다.

둘째, 비율을 말할 수 없습니다. 여덟 명 중 다섯 명이 같은 불편을 적었다는 사실은 다음에 무엇을 볼지 정하는 데는 충분하지만, 전체 사용자의 60퍼센트라고 옮기면 안 됩니다. 규모를 알고 싶으면 여기서 나온 것을 설문 조사 문항으로 만들어 따로 묻습니다.

셋째, 기록하는 행위 자체가 행동을 바꿉니다. 적으라고 하면 평소보다 신경 써서 쓰게 되고, 귀찮은 순간에는 아예 건너뛰게 됩니다. 그래서 첫 이틀 기록은 덜 믿고, 비어 있는 날도 데이터로 함께 읽습니다. 있는 그대로의 현장을 봐야 한다면 필드 리서치로 찾아가 관찰하는 쪽이 낫습니다.

"이건 인터뷰로는 안 나와요. 2주 다이어리 스터디로 가시죠."

한 시점의 기억에 기대면 놓치는 종류의 문제라는 판단입니다.

"기록 항목이 여덟 개면 사흘 만에 다 떨어져 나갑니다."

참여자의 부담이 커서 데이터가 중간에 끊길 거라는 경고입니다.

"3일차부터 기록이 끊긴 참여자 둘, 이유부터 확인할게요."

빠진 기록 자체를 신호로 보고 원인을 확인하겠다는 뜻입니다.

페이지덱에서는 지난 분기 문서 정리 기능을 다시 만들기 전에 이 방법을 썼습니다. 민서가 5인 이상 팀의 관리자 아홉 명에게 2주 동안 남이 만든 문서를 찾으려 한 순간마다 기록을 부탁했습니다. 질문은 세 개였습니다. 무엇을 찾고 있었는지, 어디서부터 찾기 시작했는지, 몇 분 걸렸는지.

인터뷰에서는 한 번도 나오지 않던 것이 기록에서는 매주 나왔습니다. 찾다가 포기하고 같은 문서를 새로 만든 경우가 아홉 명에게서 2주 동안 스물세 번 있었습니다. 고객이 막히는 지점, 곧 페인 포인트가 어디인지가 이 숫자로 드러났습니다. 지현은 이 기록을 근거로 다음 분기 우선순위를 바꿨습니다.

기록을 많이 받을수록 좋다고 보는 경우가 가장 많습니다. 항목을 늘리면 그만큼 많이 알게 될 것 같으니 자연스러운 판단입니다. 그러나 참여자가 쓰는 시간이 하루 3분을 넘어가면 사흘째부터 답이 짧아지고 닷새째에는 빠지는 날이 생깁니다. 열 개를 물어 절반이 비어 있는 2주보다 세 개를 물어 꽉 찬 2주가 쓸 데가 많습니다.

기록에 적힌 말을 그대로 결론으로 옮기는 것도 흔합니다. 참여자가 "검색이 느려서 그만뒀다" 고 적었으면 검색 속도를 고치면 될 것처럼 보입니다. 그런데 마지막 인터뷰에서 물어보면 느렸던 게 아니라 결과 목록에서 어느 것이 최신인지 구별되지 않아 하나씩 열어 보다 지쳤다는 이야기가 나옵니다. 기록은 무슨 일이 언제 있었는지를 남기고 왜인지는 대개 빠뜨립니다. 마지막 만남을 생략하면 잘못 짚은 문제를 고치느라 한 분기를 씁니다.