고객 노력 점수

설문으로 고객의 마음을 재기 시작했을 때 문항은 대체로 한 방향이었습니다. 만족하셨는지, 추천할 의향이 있는지처럼 좋았던 정도를 묻는 질문이었습니다. 그런데 점수가 오른 분기에도 떠나는 고객은 그대로 떠났고, 점수와 이탈을 나란히 놓고 보면 둘이 잘 붙지 않았습니다.

페이지덱에서도 같은 일이 있었습니다. 분기 설문 평균은 전 분기보다 올랐는데 해지한 팀 수는 줄지 않았습니다. 지현이 해지한 팀 열두 곳의 기록을 열어 보니 공통점은 불만이 아니라 횟수였습니다. 문서 권한을 바꾸려고 설정 화면을 세 군데 오가고, 원하는 대로 안 되어서 문의를 넣고, 답을 기다렸다가 다시 시도한 팀들이었습니다. 이 팀들은 설문에서 제품이 나쁘다고 적은 적이 없고, 그러고는 조용히 갱신을 하지 않았습니다.

고객 노력 점수는 질문을 반대쪽으로 돌려 세운 지표입니다. 얼마나 좋았는지 대신 얼마나 힘들었는지를 묻습니다. 사람이 제품을 다시 쓰는지 가늠할 때는 즐거웠던 기억보다 애먹었던 기억이 더 잘 들어맞기 때문입니다. 좋았던 경험은 시간이 지나면 흐려지지만 한 번 헤맨 화면은 다음에 열 때 다시 떠오릅니다.

문장 하나를 던져 동의하는 정도를 1에서 7까지 받고, 받은 값을 전부 더해 응답 수로 나눈 평균이 점수입니다.

계산은 세 단계입니다.

1. 묻는 자리를 정합니다. 사용자가 목적 하나를 막 끝낸 직후여야 합니다. 문의 응대가 끝난 화면, 결제를 마친 화면, 새 사용자가 제품에 자리 잡는 과정인 온보딩 중에 첫 문서를 만든 화면 같은 자리입니다. 한 주 뒤에 물으면 그 사람은 그때 얼마나 헤맸는지를 이미 잊었습니다.
2. 문장을 하나 던지고 동의 정도를 받습니다. 문장은 보통 "오늘 문의를 처리하는 과정이 수월했습니다" 처럼 씁니다. 1은 전혀 그렇지 않다, 7은 매우 그렇다입니다.
3. 받은 값을 평균 냅니다. 120명이 답했고 합이 618이면 5.15입니다.

여기서 자주 어긋나는 것은 척도의 방향입니다. 수월했다는 문장에 동의를 받으면 숫자가 클수록 좋고, 힘들었다는 문장에 동의를 받으면 숫자가 클수록 나쁩니다. 두 방식이 섞여 돌아가는 조직에서는 5.2라는 값이 좋다는 뜻인지 나쁘다는 뜻인지부터 물어야 합니다. 5점 척도로 받는 곳도 있어서, 점수 옆에는 문항 원문과 척도를 함께 적어 둡니다.

적어 둘 것이 셋 더 있습니다. 언제 물었는지, 누구에게 물었는지, 몇 명이 답했는지입니다. 가입 첫 주에 물은 값과 반년 쓴 뒤에 물은 값은 다른 숫자입니다. 이 셋이 적혀 있지 않으면 지난 분기 값과 나란히 놓을 수 없습니다.

7점 척도에서 평균 5를 넘으면 대체로 수월한 편으로 봅니다. 다만 우리 숫자가 어느 자리쯤인지 어림잡을 때만 쓰고 합격선으로는 쓰지 않습니다. 업계 평균이라고 도는 값은 언제 누구에게 무엇을 물은 것인지 모르니, 그대로 견주면 문항부터 다른 설문끼리 점수를 맞대는 셈입니다.

기준은 세 가지로 세웁니다. 같은 문항으로 잰 우리 지난 분기 값, 화면별로 갈라 본 값의 차이, 그리고 그 값이 실제 행동과 어떻게 연결되는지입니다. 세 번째가 가장 쓸모 있습니다. 페이지덱에서 초대 링크로 문서를 연 직후 점수가 3 이하였던 사람은 그 주 안에 다시 들어온 비율이 34퍼센트였고, 6 이상이었던 사람은 79퍼센트였습니다. 쓰던 사람이 계속 돌아오는 정도를 뜻하는 리텐션과 점수가 이렇게 붙어 있다는 것이 확인된 뒤부터, 4.1이라는 숫자는 해석이 필요한 값이 아니라 그 화면을 고쳐야 한다는 신호가 됐습니다.

평균 하나만 보면 놓치는 것도 있습니다. 평균 5.2는 대부분이 5와 6을 준 상태일 수도 있고, 절반이 7을 주고 5분의 1이 1과 2를 준 상태일 수도 있습니다. 앞쪽은 전체를 조금씩 다듬을 자리이고 뒤쪽은 특정 조건에서 아예 막히는 사람이 있다는 뜻이라 손댈 곳이 다릅니다. 그래서 평균과 함께 3 이하 응답의 비율을 같이 봅니다.

"초대 링크로 문서 여는 흐름이 노력 점수 4.1이에요. 결제 흐름보다 낮습니다."

제품 안의 두 흐름을 같은 문항으로 재서 어느 쪽 길이 더 험한지 견줬다는 말입니다.

"이번엔 만족했는지 말고 수월했는지로 물읍시다. 알고 싶은 게 그쪽이니까요."

특정 경험이 만족스러웠는지를 묻는 고객 만족도 문항으로는 어디서 막혔는지가 안 나오니 문항을 바꾸자는 제안입니다.

"점수는 0.4 올랐는데 응답자가 절반으로 줄었어요. 같은 숫자로 보면 안 됩니다."

답한 사람의 구성이 바뀌면 점수가 움직인 이유가 개선인지 응답자 변화인지 가릴 수 없다는 뜻입니다.

페이지덱은 문서 권한 설정을 고친 뒤 그 화면 끝에 문항 하나를 붙였습니다. 태오가 저장 직후 뜨는 작은 카드로 만들었고, 지현이 2주 치 응답 340건을 모아 회의에 들고 왔습니다. 평균은 4.6이었는데 1과 2를 준 응답이 21퍼센트였고, 그 응답에 달린 문장에는 어디서 바꾸는지 못 찾았다는 말이 반복해서 나왔습니다. 민서가 그 문장 서른 개를 읽고 흩어져 있던 설정 항목을 한 화면으로 모았습니다. 한 달 뒤 같은 문항의 평균은 5.8이었고 1과 2를 준 비율은 6퍼센트로 내려갔습니다.

어디를 파 볼지는 숫자가 알려 주고, 무엇을 고칠지는 낮은 점수 옆의 문장에서 나옵니다. 그래서 문항 끝에는 자유 서술 칸을 한 칸 붙여 둡니다.

점수가 낮으면 기능이 부족하다는 뜻으로 읽는 경우가 많습니다. 제품을 평가한 숫자처럼 생겼으니 그렇게 읽기 쉽습니다. 하지만 이 점수가 재는 것은 기능의 유무가 아니라 목적까지 가는 길의 험한 정도입니다. 필요한 기능이 다 있어도 버튼이 세 화면에 흩어져 있으면 점수는 내려갑니다. 기능 부족으로 읽으면 이미 있는 기능을 다시 만드는 쪽으로 일이 흘러가고, 정작 험한 길은 그대로 남습니다.

목표 숫자로 삼는 것도 흔합니다. 이번 분기에 노력 점수를 0.5 올리자는 문장은 그럴듯하게 들립니다. 그런데 이 값은 언제 누구에게 묻느냐에 따라 쉽게 움직입니다. 목표를 받은 팀은 흐름이 잘 풀린 사용자에게만 문항을 띄우거나 막히는 화면에서 설문을 떼는 쪽으로 기울기 쉽습니다. 그러면 다음 분기 보고서의 점수는 5.9인데 그 화면으로 들어오는 문의량은 그대로인 상태가 됩니다. 올려야 할 것은 점수가 아니라 길의 험한 정도이고, 그게 나아졌는지는 문의 건수나 이탈 지점 같은 기록으로 함께 확인합니다.