만족도 지표

제품이 남기는 기록은 무슨 일이 있었는지만 알려 줍니다. 누가 언제 들어와 무엇을 눌렀고 며칠 만에 다시 왔는지는 전부 남지만, 그 사람이 그 화면 앞에서 답답했는지 편했는지는 어디에도 남지 않습니다. 그래서 기록만 보다가 뒤통수를 맞는 일이 생깁니다.

페이지덱에서도 그랬습니다. 한 분기 동안 주간 활성 사용자가 8천 명에서 9400명으로 늘었고 문서 생성 수도 같이 올랐는데, 유료 팀 열한 곳이 갱신을 하지 않았습니다. 지현이 기록을 며칠 뒤졌지만 나온 것은 그 팀들이 마지막 달에도 평소만큼 제품을 썼다는 사실뿐이었습니다. 많이 쓴 것과 마음에 든 것은 다른 이야기였습니다. 나중에 전화를 돌려 보니 열한 곳 중 일곱 곳이 같은 말을 했습니다. 쓰기는 쓰는데 매번 같은 지점에서 한참 헤맸고, 그게 쌓여서 다른 도구를 찾아보게 됐다는 것이었습니다.

그렇다고 고객센터에 들어온 불만을 세는 것으로는 부족합니다. 그쪽에 글을 남기는 사람은 화가 아주 많이 났거나 아주 친절한 소수이고, 대다수는 조용히 떠납니다. 고객센터에 한 달 동안 스물세 건이 들어왔다면 그것은 그달에 불편을 겪은 사람의 수가 아니라 글을 남길 만큼 움직인 사람의 수입니다. 남은 방법은 하나였습니다. 직접 묻는 것입니다.

문제는 묻는 방식이 팀마다 다르면 답을 모을 수 없다는 점이었습니다. 한 팀은 다섯 칸짜리 별점을 쓰고 다른 팀은 자유 서술로 받으면, 두 결과를 나란히 놓고 이번 분기가 나아졌는지 말할 수 없습니다. 만족도 지표는 그래서 문항과 척도와 계산법을 미리 고정해 둔 묶음입니다. 같은 문장으로 같은 시점에 같은 방식으로 물어야 숫자끼리 비교가 됩니다.

제품 축의 지표 갈래 안에서 이 묶음은 물어서 재는 쪽을 맡습니다. 얼마나 많이 쓰는지를 기록으로 보는 사용량 지표, 가입한 사람이 제품의 쓸모를 처음 체감하는 지점인 활성화, 그 뒤로 계속 돌아오는 정도인 리텐션은 모두 서버에 쌓인 기록에서 나옵니다. 만족도 지표만 사용자에게 답을 받아야 나옵니다. 그래서 제품 지표 전체 가운데 유일하게 응답률이라는 조건이 붙습니다.

아래에는 용어 네 개가 있고 두 갈래로 나뉩니다. 물어서 점수를 내는 지표 셋과, 그 점수를 어디에 꽂을지 자리를 정해 주는 틀 하나입니다.

지표 셋은 묻는 대상이 다릅니다. 하나는 제품 전체를, 하나는 방금 겪은 일을, 하나는 그 일이 얼마나 힘들었는지를 묻습니다.

1. 순추천지수 — 이 제품을 동료에게 추천할 의향이 얼마나 되는지를 0에서 10까지로 묻습니다. 9와 10을 고른 사람을 추천자, 7과 8을 중립자, 0에서 6까지를 비추천자로 나눕니다. 계산은 추천자 비율에서 비추천자 비율을 뺀 값이고 중립자는 계산에서 빠집니다. 200명이 답했고 9와 10이 90명, 7과 8이 60명, 0에서 6이 50명이면 45퍼센트에서 25퍼센트를 뺀 20입니다. 값의 범위는 마이너스 100에서 100까지이고 퍼센트가 아니라 점수로 읽습니다.
2. 고객 만족도 — 방금 겪은 특정 경험이 만족스러웠는지를 보통 1에서 5까지로 묻습니다. 계산은 4와 5를 고른 사람의 비율입니다. 400명 중 320명이 4 이상이면 80퍼센트입니다. 문의 응대 직후, 결제 직후, 기능 사용 직후처럼 시점을 붙여 묻기 때문에 제품 전체가 아니라 그 한 장면의 점수입니다.
3. 고객 노력 점수 — 목적을 이루기까지 얼마나 힘들었는지를 묻습니다. 대개 쉽게 처리할 수 있었다는 문장에 얼마나 동의하는지를 1에서 7까지로 받고 평균을 냅니다. 만족을 묻는 대신 수고를 묻는 이유는, 사람이 다시 오는지를 가늠할 때 좋았던 기억보다 힘들었던 기억이 더 잘 맞아떨어지기 때문입니다.

틀은 HEART 프레임워크 하나입니다. 행복, 참여, 채택, 유지, 과업 성공 다섯 축으로 사용자 경험을 나눠 보는 구글의 측정 틀입니다. 축마다 목표를 적고, 그 목표가 이뤄졌을 때 제품에 나타날 신호를 적고, 그 신호를 셀 지표를 적는 순서로 내려갑니다. 페이지덱이 문서 공유 기능에 이 틀을 적용했을 때는 행복 축의 목표를 공유받은 사람이 헤매지 않는 것으로 적고, 신호를 초대 링크를 연 뒤 문서를 여는 데까지 걸린 시간으로 적고, 지표를 그 직후에 묻는 고객 노력 점수로 적었습니다. 앞의 세 지표는 이 가운데 행복 축에 들어가고 나머지 네 축은 기록으로 잽니다. 설문 점수 하나만 들고 있으면 그 값이 무엇을 대표하는지 말하기 어려운데, 틀 안에 놓으면 다섯 축 가운데 한 축을 맡은 숫자라는 위치가 생깁니다.

셋 다 계산 자체는 쉽고, 어려운 것은 계산 앞에 붙는 세 가지를 적어 두는 일입니다. 언제 묻는지, 누구에게 묻는지, 몇 명이 답했는지입니다. 가입 첫날에 묻는 순추천지수와 6개월 쓴 뒤에 묻는 순추천지수는 다른 숫자입니다. 유료 고객에게만 물은 값과 무료 사용자까지 넣은 값도 다른 숫자입니다. 이 셋이 적혀 있지 않으면 지난 분기와 이번 분기를 비교할 수 없고, 비교할 수 없는 숫자는 회의에서 아무 결정도 만들지 못합니다.

응답률은 따로 볼 만합니다. 설문에 답하는 사람은 대체로 아주 만족했거나 아주 화가 난 쪽이고 가운데는 조용히 넘어갑니다. 응답률이 2퍼센트인 조사에서 나온 점수는 사용자 전체가 아니라 목소리를 낸 사람들의 점수에 가깝습니다. 사용자 3만 명에게 보내 400명이 답했다면 그 400명이 어떤 사람들인지를 먼저 확인하고, 점수가 5점 움직였다는 말은 그다음에 합니다. 확인하는 방법은 응답자의 구성을 전체 사용자 구성과 견주는 것입니다. 유료 고객 비율이 전체에서는 12퍼센트인데 응답자에서는 40퍼센트라면 그 점수는 유료 고객의 점수에 가깝습니다.

좋은 수준의 기준은 밖에서 가져오지 않습니다. 업계 평균 순추천지수가 31이라는 자료를 보고 우리가 24이니 나쁘다고 판정하는 것이 가장 흔한 실수입니다. 그 31이 언제 누구에게 어떤 문장으로 물은 값인지 모르는 채로 견줬기 때문입니다. 기준은 셋으로 세웁니다. 같은 문항으로 잰 우리 지난 분기 값, 사용자 무리별로 갈라 본 값의 차이, 그리고 그 값과 실제 행동의 연결입니다. 흔히 인용되는 값은 있습니다. 소프트웨어 구독 제품의 순추천지수는 30을 넘으면 괜찮은 편으로, 고객 만족도는 80퍼센트 근처를 무난한 수준으로, 고객 노력 점수는 7점 척도에서 5를 넘으면 수월한 편으로 봅니다. 이 값들은 우리 숫자가 어느 자리에 있는지 어림잡을 때만 쓰고 합격선으로 쓰지는 않습니다. 셋째가 가장 쓸모 있습니다. 페이지덱은 순추천지수 0에서 6을 준 팀의 다음 해 갱신율이 41퍼센트, 9와 10을 준 팀은 88퍼센트였습니다. 이 연결이 확인된 뒤부터 점수는 해석이 필요한 숫자가 아니라 갱신 위험을 미리 알려 주는 신호가 됐습니다.

문항 끝에는 자유 서술 칸을 하나 붙입니다. 숫자는 어디를 파 볼지 알려 주고 문장은 왜 그런지를 알려 줍니다. 24라는 점수만으로는 내일 무엇을 고칠지 정할 수 없지만, 낮은 점수를 준 사람들의 문장 서른 개를 읽으면 같은 단어가 반복되는 것이 보입니다. 네 용어를 함께 쓰는 방식도 여기서 나옵니다. 제품 전체의 흐름은 순추천지수로 분기마다 보고, 방금 바꾼 화면은 그 자리에서 고객 만족도로 보고, 사용자가 무언가를 해내는 길이 험한지는 고객 노력 점수로 보고, 이 셋이 전체 경험의 어느 부분을 덮고 있는지는 HEART 프레임워크로 확인합니다.

"순추천지수가 32에서 27로 떨어졌는데 응답자가 40명이에요. 이 숫자로는 아직 못 움직입니다."

표본이 작아 다섯 점 차이가 진짜 변화인지 흔들림인지 구분되지 않는다는 뜻입니다. 40명 조사에서는 비추천자 두 명이 늘고 줄기만 해도 점수가 다섯 점씩 움직입니다.

"이번 개편은 고객 만족도 말고 고객 노력 점수로 볼게요. 좋아하게 만드는 게 아니라 덜 헤매게 만드는 게 목표라서요."

무엇을 재기로 정하느냐가 이번 작업의 목표를 그대로 드러낸다는 말입니다.

"점수는 8점대인데 자유 서술에 같은 불만이 열두 개 들어와 있어요."

평균값이 괜찮아도 특정 무리가 같은 곳에서 막혀 있을 수 있다는 지적입니다. 점수는 어디를 볼지만 알려 주고 무엇을 고칠지는 문장 쪽에 적혀 있습니다.

페이지덱은 분기마다 순추천지수를 돌리고, 온보딩을 끝낸 직후에 고객 노력 점수를 묻습니다. 지현이 분기 조사를 맡고 민서가 온보딩 조사를 맡습니다. 한 번은 민서가 문항 문구를 다듬어 설정을 마치기까지 어렵지 않았는지를 묻는 문장으로 바꿨는데, 다음 달 평균이 4.8에서 5.6으로 올랐습니다. 제품은 그대로였습니다. 그 뒤로 문구는 분기가 끝날 때까지 손대지 않기로 정했고, 바꿔야 하면 두 문항을 한 달 동안 같이 돌려 차이를 먼저 재기로 했습니다.

규원은 이 숫자를 갱신 회의에서 씁니다. 순추천지수가 6점 이하인 팀 목록을 뽑아 계약 만료 두 달 전에 먼저 연락하는 규칙을 두고 있습니다. 점수가 낮은 이유를 그 자리에서 듣고, 고칠 수 있는 것이면 일정에 올리고 아니면 최소한 언제까지 어렵다는 답을 줍니다.

점수를 올려야 할 목표로 삼는 것이 가장 흔한 오해입니다. 숫자가 있으면 올리고 싶어지고, 팀마다 분기 목표를 하나씩 들고 있어야 하는 회사에서는 더 그렇습니다. 하지만 이 숫자는 사용자의 답으로 만들어지기 때문에 묻는 방식만 바꿔도 움직입니다. 목표를 받은 팀은 만족했을 법한 사람만 골라 설문을 보내거나, 응대 담당자가 마지막에 높은 점수를 부탁하거나, 문항 문구를 부드럽게 다듬는 쪽으로 움직입니다. 반년 뒤 점수는 24에서 38로 올라 있는데 갱신율은 그대로인 상태가 됩니다. 더 나쁜 것은 그사이 쌓인 기록이 못 쓰게 된다는 점입니다. 묻는 방식이 바뀌었으니 작년 값과 올해 값을 나란히 놓을 수 없고, 점수가 낮은 팀을 미리 찾아내던 규칙도 같이 무너집니다. 재는 도구를 목표로 바꾸면 그 도구는 재는 기능을 잃습니다. 목표로 삼을 것은 점수가 아니라 점수가 가리키던 문제이고, 그게 풀렸는지는 갱신율이나 재방문 같은 기록 쪽 지표로 확인합니다.

업계 평균과 견주면 우리 위치를 알 수 있다고 보는 것도 흔합니다. 자료가 공개돼 있고 숫자 모양도 같으니 견줘도 될 것처럼 보입니다. 실제로는 같은 이름의 지표가 조사마다 다른 물건입니다. 어떤 조사는 가입 직후에 묻고 어떤 조사는 1년 쓴 사람에게 묻습니다. 어떤 조사는 유료 고객만, 어떤 조사는 무료 사용자까지 넣습니다. 문항 문구도 제각각입니다. 이 셋이 다르면 점수 차이 열 점은 제품 차이가 아니라 조사 설계 차이입니다. 바깥 숫자에 맞춰 판단하면 멀쩡한 제품을 뜯어고치거나, 반대로 문제가 있는데 평균보다 높다고 안심하게 됩니다. 밖의 값은 대략적인 지형으로만 보고, 판단은 같은 방식으로 잰 우리 값의 흐름으로 합니다.