생존 편향

페이지덱이 제품 방향을 정하려고 고객 인터뷰를 돌린 적이 있습니다. 대상은 제품을 잘 쓰고 있는 팀 열 곳이었습니다. 공통점이 하나 나왔습니다. 열 곳 모두 문서 템플릿을 적극적으로 쓰고 있었고, 그래서 템플릿 기능을 강화하자는 결론이 났습니다.

발표 자리에서 수아가 한마디 했습니다. 지난 분기에 떠난 팀 여덟 곳도 템플릿을 많이 쓰고 있었다는 것이었습니다. 확인해 보니 사실이었습니다. 템플릿 사용은 남아 있는 팀의 특징이 아니라 페이지덱을 쓰는 팀 전체의 특징이었고, 남는 쪽과 떠나는 쪽을 가르는 요인이 아니었습니다.

이 실수의 성질이 까다로운 지점은 꼼꼼히 봐도 발견되지 않는다는 데 있습니다. 인터뷰 열 건은 성실하게 수행됐고 기록에도 오류가 없었습니다. 빠진 것은 데이터 안이 아니라 데이터 밖에 있었습니다. 떠난 팀은 인터뷰 대상 명단에 애초에 들어오지 않았으니, 명단을 몇 번 다시 읽어도 무엇이 빠졌는지 알 수 없습니다.

생존 편향은 이런 종류의 누락에 붙은 이름입니다. 돌아온 비행기의 총알 구멍만 세어 그 부위를 보강하려는 것과 같습니다. 실제로 보강해야 하는 곳은 구멍이 하나도 없는 자리입니다. 그 자리에 맞은 비행기는 돌아오지 못해서 셀 수 있는 목록에 없습니다.

기록이 만들어지는 단계에서 이미 걸러진 상태로 시작합니다. 세 박자로 굳습니다.

1. 어떤 조건을 통과한 대상만 기록에 남습니다. 지금도 요금을 내는 팀, 지금도 앱을 켜는 사용자, 지금도 회사에 있는 구성원처럼 조건은 대개 "지금 남아 있음" 입니다.
2. 분석은 남아 있는 기록만 봅니다. 사라진 쪽은 조회되지 않으니 분석하는 사람 눈에는 전체처럼 보입니다.
3. 남은 것들의 공통점을 원인으로 읽습니다. 여기서 결론이 뒤집힙니다. 남은 쪽의 특징일 뿐인지, 남은 쪽과 사라진 쪽을 가르는 특징인지 확인할 수 없기 때문입니다.

앱 안에 띄우는 설문이 전형적인 자리입니다. 배너를 보고 답하는 사람은 앱에 들어오는 사람뿐이라, 8천 명을 모아도 떠난 사용자의 생각은 한 건도 들어오지 않습니다. 현재 고객의 평균 계약 기간이 14개월이라는 통계도 같은 구조입니다. 3개월 만에 해지한 팀은 지금 고객이 아니라 계산에서 빠지고, 그래서 이 값은 신규 계약이 얼마나 오래 유지될지를 말해 주지 않습니다.

의심해 볼 질문은 셋입니다. 이 목록은 어떤 조건을 통과한 대상인가. 통과하지 못한 대상은 어디에 기록돼 있는가. 그 기록을 실제로 볼 수 있는가. 셋째에서 막히는 경우가 대부분이고, 그때 할 일은 분석을 고치는 것이 아니라 사라지는 쪽의 기록을 지금부터 남기기 시작하는 것입니다. 해지 사유 입력란, 해지 직후 인터뷰, 탈락한 지원자 기록이 그런 장치입니다.

고객 리서치가 첫 자리입니다. 인터뷰 대상을 뽑을 때 담당자가 아는 고객을 고르면 대개 잘 쓰는 팀이 뽑힙니다. 연락이 닿고 대화가 편한 쪽이 그쪽이기 때문입니다.

지표를 읽을 때가 둘째 자리입니다. 현재 고객만으로 계산한 평균은 만족도, 사용량, 계약 기간 어디에 붙어도 실제보다 좋게 나옵니다. 리텐션 분석은 이 문제를 구조로 피하는 도구입니다. 가입한 주가 같은 사람을 묶어 4주 뒤와 12주 뒤에 몇 퍼센트가 남았는지 보기 때문에, 떠난 사람이 빠지지 않고 분모에 남아 있습니다. 퍼널 분석도 같은 성질을 갖습니다. 단계마다 몇 명이 남는지를 세는 방식이라 빠져나간 인원이 수치 안에 들어옵니다.

조직 쪽이 셋째 자리입니다. 재직 중인 구성원만 대상으로 돌린 조직 문화 설문으로는 사람이 나가는 이유를 알 수 없습니다. 그 이유를 가장 잘 아는 사람들이 이미 명단에서 빠져 있습니다.

넷째는 사업 판단입니다. 성공한 회사의 전략을 정리한 글은 많고 같은 전략으로 실패한 회사의 기록은 거의 없습니다. 그래서 무료 플랜을 크게 열어 성장한 회사 열 곳을 근거로 같은 결정을 하면, 같은 방식으로 현금이 말라 사라진 회사 수백 곳을 세지 않은 판단이 됩니다.

"이 인터뷰 열 건이 다 지금 쓰는 팀이잖아요. 떠난 팀도 두세 곳 넣죠."

대상 명단이 남아 있는 쪽으로만 채워져 결론이 기울 수 있다는 지적입니다.

"평균 계약 기간 14개월은 지금 남아 있는 고객만 센 값이에요."

일찍 해지한 고객이 계산에서 빠져 있으니 신규 계약의 예상치로는 쓸 수 없다는 뜻입니다.

"앱 안 배너로 설문을 돌리면 떠난 사용자 답은 못 받습니다."

수집 경로 자체가 특정 집단을 배제하니 다른 경로가 필요하다는 말입니다.

페이지덱은 템플릿 인터뷰 이후로 리서치 절차를 하나 바꿨습니다. 지현이 인터뷰 대상을 정할 때 사용 중인 팀과 해지한 팀을 반드시 섞어 넣고, 해지한 팀은 수아가 해지 처리 때 받아 둔 명단에서 고릅니다. 열 건 중 세 건을 떠난 쪽으로 채우는 것이 기준입니다. 이렇게 바꾼 뒤 처음 나온 결론은 남는 팀과 떠나는 팀을 가르는 것이 템플릿이 아니라 팀원 초대 시점이라는 것이었습니다. 첫 주에 동료를 초대한 팀은 대부분 남았고, 혼자 쓰다가 한 달이 지난 팀은 대부분 떠났습니다.

표본을 크게 만들면 해결된다고 보는 오해가 가장 흔합니다. 숫자가 많을수록 정확해진다고 배운 탓에 모으는 양을 늘리는 쪽으로 손이 갑니다. 그런데 이 편향은 크기의 문제가 아니라 구성의 문제입니다. 앱 안 설문 응답을 800건에서 8,000건으로 늘려도 떠난 사용자의 응답은 여전히 0건입니다. 늘어난 것은 남아 있는 쪽 의견의 선명함뿐이고, 그 선명함이 결론에 대한 자신감을 키우기 때문에 오히려 더 위험해집니다.

성공 사례를 보는 것 자체가 잘못이라고 읽는 경우도 있습니다. 편향이라는 말이 붙으니 그런 분석을 하지 말라는 뜻으로 들립니다. 하지만 잘 쓰는 고객 열 곳에서 얻은 공통점은 가설을 만드는 재료로 충분히 쓸모가 있습니다. 문제는 그것을 대조 없이 결론으로 굳히는 데서 생깁니다. 템플릿을 많이 쓴다는 발견은 떠난 팀에서도 같은지를 확인하기 전까지 가설이고, 확인한 뒤에야 원인이 되거나 기각됩니다.