션 엘리스 테스트

수요를 확인했는지 판단할 눈금이 없던 시절이 있었습니다. 제품이 시장의 수요와 맞물린 상태를 넘었는지는 회사의 다음 분기를 정하는 판단인데, 근거는 대개 대표나 팀의 느낌이었습니다. 사용자가 늘고 있으면 넘은 것 같고, 이탈이 보이면 아직인 것 같았습니다.

그래서 투자 회의나 전략 회의가 같은 자리에서 멈췄습니다. 수요를 확인했느냐는 질문에 사용자들이 좋아한다는 답이 돌아오면, 그 답이 참인지 거짓인지 가릴 방법이 양쪽에 없었습니다. 행동을 보는 리텐션 곡선은 같은 주에 가입한 사람들이 주가 지날수록 얼마나 남는지를 그린 그래프여서 더 믿을 만하지만, 답을 얻기까지 몇 달이 걸립니다. 지금 결정해야 하는 회의에는 늦습니다.

션 엘리스 테스트는 그 판단을 며칠 안에 내리려고 만든 한 문항짜리 설문입니다. 마케터 션 엘리스가 여러 회사의 데이터를 모아 제안한 방식으로, 사용자에게 제품이 없어지면 어떨 것 같으냐고 묻고 그 답의 분포로 수요의 세기를 읽습니다. 만족하느냐가 아니라 없으면 곤란하냐를 묻는다는 점이 이 문항의 성격을 정합니다.

한 문항의 답을 세 갈래로 받아 첫 보기를 고른 사람의 비율을 내면 그것이 값입니다. 절차는 다섯 단계입니다.

1. 물을 사람을 고릅니다. 최근 2주 안에 제품의 핵심 기능을 두 번 이상 쓴 사용자로 좁힙니다. 가입만 하고 한 번도 쓰지 않은 사람을 넣으면 제품을 겪어 보지 않은 사람의 답이 섞여 값이 낮게 나옵니다.
2. 문항을 그대로 씁니다. "이 제품을 앞으로 더는 쓸 수 없게 된다면 어떨 것 같습니까" 하고 묻고 매우 실망·조금 실망·아무렇지 않음 중 하나를 고르게 합니다. 보기를 다섯 개로 늘리거나 만족도를 함께 묻지 않습니다. 같은 문항이어야 지난 분기 값과 견줄 수 있습니다.
3. 비율을 냅니다. 매우 실망을 고른 사람 수를 전체 응답 수로 나눕니다. 40명이 답해 19명이 첫 보기를 골랐으면 47퍼센트입니다.
4. 응답 수를 확인합니다. 실무에서는 40건에서 100건 사이를 최소로 잡는 관행이 있습니다. 열 명만 답했으면 한 사람의 선택이 10퍼센트를 움직이므로, 40을 넘겼는지 못 넘겼는지가 사실상 우연으로 정해집니다.
5. 자유 응답을 함께 받습니다. 이 제품에서 가장 쓸모 있는 것이 무엇인지, 어떤 사람에게 가장 맞을 것 같은지를 묻습니다. 비율은 상태를 알려 주고 이 답이 이유를 알려 줍니다. 다음에 무엇을 고칠지는 대개 뒤쪽에서 나옵니다.

관행선은 40퍼센트입니다. 매우 실망을 고른 비율이 40을 넘으면 수요가 맞물린 것으로 보고, 그 아래면 아직 탐색할 자리가 남은 것으로 봅니다. 여러 회사의 값을 모아 봤을 때 그 선 위쪽과 아래쪽이 이후 성장에서 갈렸다는 경험에서 나온 숫자이고, 계산으로 도출된 값은 아닙니다.

절대값보다 쪼개 보는 것이 중요한 숫자입니다. 전체가 31퍼센트인데 5인 이상 팀으로 쓰는 사용자만 보면 58퍼센트가 나오는 경우가 흔합니다. 이때 읽어야 하는 것은 아직 못 넘었다는 결론이 아니라 이미 넘은 집단이 어디인지입니다. 그 집단을 좁혀 거기에만 집중하는 판단이 여기서 나옵니다.

같이 봐야 하는 눈금도 있습니다. 이 설문은 지금 쓰고 있는 사람에게만 닿습니다. 떠난 사람은 설문지를 받지 않으므로, 값이 높게 나왔다는 것이 사람들이 남는다는 뜻은 아닙니다. 매우 실망이 52퍼센트인데 4주 차 잔존이 6퍼센트라면, 그 52는 시장의 크기가 아니라 끝까지 남은 열댓 명의 온도를 잰 값입니다. 반대로 곡선이 어느 높이에서 더 떨어지지 않고 눕는 리텐션 곡선 평탄화가 확인됐는데 설문이 낮게 나오면, 쓸 만한 대안이 없어 버티는 상태일 수 있습니다.

재는 주기는 분기마다가 흔합니다. 같은 대상 조건과 같은 문항으로 반복해야 값의 변화가 제품의 변화를 뜻하게 됩니다. 조건을 느슨하게 바꾸면 다음 분기 숫자가 오른 이유를 설명할 수 없습니다. 제품이 나아졌는지 대상만 달라졌는지가 섞이기 때문입니다.

"션 엘리스 테스트 돌렸더니 매우 실망이 34퍼센트 나왔어요."

관행선 아래라 수요를 아직 확인하지 못했다는 보고입니다.

"40은 넘겼는데 응답이 22건이에요. 이번 값으로 결정하긴 어렵습니다."

응답 수가 적어 비율을 믿을 수 없다는 제동입니다.

"전체는 31인데 5인 이상 팀만 보면 58이에요. 여기부터 파죠."

넘어선 집단을 찾았으니 대상을 좁히자는 제안입니다.

페이지덱이 이 설문을 처음 돌린 것은 무료 가입자가 8천 명을 넘긴 분기였습니다. 지현이 최근 2주 안에 문서를 세 개 이상 만든 사용자에게만 설문 조사를 띄웠고, 응답 61건에서 매우 실망이 33퍼센트로 나왔습니다.

숫자만 보면 아직 아니라는 답입니다. 그런데 응답을 팀 규모로 쪼개니 5인 이상으로 쓰는 사용자에서는 57퍼센트였고, 혼자 쓰는 사용자에서는 14퍼센트였습니다. 규원은 그 자리에서 이번 분기의 대상을 팀 사용자로 좁히기로 정했습니다. 혼자 쓰는 사용자를 데려오는 광고는 같은 분기에 멈췄습니다. 같은 값이 두 결정을 만든 셈입니다.

40을 넘기면 확인이 끝났다고 읽는 경우가 가장 많습니다. 기준선이 하나뿐이니 통과와 탈락처럼 보입니다. 하지만 이 값은 남아서 쓰고 있는 사람들 사이의 비율이라, 들어온 사람 대부분이 곧 떠나는 상태에서도 높게 나올 수 있습니다. 이 숫자만 보고 포스트 PMF 로 넘어가 영업과 광고를 키우면, 데려온 사람이 그대로 빠져나가면서 비용만 남습니다. 행동을 보는 눈금과 함께 읽어야 하는 이유가 여기 있습니다.

만족도 조사의 한 종류로 여기는 것도 흔합니다. 설문이고 비율로 나오니 비슷해 보입니다. 그런데 묻는 것이 다릅니다. 추천 의향을 물어 계산하는 순추천지수는 이 제품을 남에게 권하겠느냐를 재고, 이 테스트는 없어지면 곤란하냐를 잽니다. 권하겠다는 답과 없으면 안 된다는 답은 겹치지 않습니다. 쓸 만하고 추천할 만하지만 사라져도 다른 것으로 바꾸면 되는 제품이 실제로 많습니다.