그로스 분석

성장이 멈췄을 때 원인을 짚을 근거가 없던 시절이 있었습니다. 팀이 들여다보는 숫자는 총계뿐이었습니다. 이번 달 가입 8,200명, 매출 1억 4천만 원, 활성 사용자 3만 명. 이 세 줄은 지금 상태를 알려 주지만 어디를 고쳐야 하는지는 알려 주지 않습니다. 가입이 지난달과 똑같아도 광고로 들어온 사람이 두 배로 늘고 검색으로 들어온 사람이 절반으로 줄어든 결과일 수 있고, 활성 사용자가 3만 명에 머물러 있어도 그 3만 명의 얼굴이 매달 통째로 바뀌는 중일 수 있습니다. 총계는 그 안에서 벌어지는 일을 전부 덮어 버립니다.

그래서 성장 회의는 대개 같은 모양으로 흘러갔습니다. 규원이 "지난 분기보다 왜 안 늘었죠" 하고 물으면 현우는 광고 예산이 모자랐다고 답하고, 태오는 가입 화면이 느려서 그렇다고 답하고, 수아는 경쟁사가 가격을 내렸다고 답합니다. 셋 다 그럴듯하고 셋 다 근거가 없습니다. 결정은 그날 가장 강하게 말한 사람 쪽으로 기울고, 한 분기가 지난 뒤에도 그 결정이 맞았는지 아무도 모릅니다. 다음 회의에서 같은 답 세 개가 다시 나옵니다. 답이 셋인 채로 분기가 지나가면 세 가지를 조금씩 다 해 보게 되고, 그러면 무엇이 통했는지는 더 알 수 없어집니다.

그로스 분석은 이 자리에 숫자를 들여놓으려고 생긴 갈래입니다. 하는 일은 두 가지입니다. 하나는 덩어리를 쪼개는 쪽입니다. 가입 8,200명을 들어온 길별로, 가입한 주별로, 가입 직후에 한 행동별로 나눠 놓으면 "안 늘었다" 는 문장이 "광고로 온 사람은 늘었는데 그 사람들이 둘째 주에 절반 넘게 빠진다" 로 바뀝니다. 앞 문장으로는 회의가 계속되고, 뒤 문장으로는 할 일이 정해집니다. 다른 하나는 변화가 진짜 효과였는지 가리는 쪽입니다. 가입 화면을 고친 주에 숫자가 올랐다고 해서 그 수정 때문이라고 말할 수는 없습니다. 같은 주에 연휴가 끼었을 수도 있고 커뮤니티에 한 번 소개됐을 수도 있습니다. 올랐다는 사실과 그것 때문에 올랐다는 주장 사이를 메우는 일이 여기 들어갑니다. 이 두 가지를 합치면 성장이 멈췄다는 말이 손댈 수 있는 자리 한두 개로 좁혀집니다.

그로스 분석 아래 묶인 용어는 두 갈래입니다. 덩어리를 쪼개 원인이 있는 자리를 찾아내는 방법(분석), 그렇게 본 상태를 한 값으로 줄여 건전한지 아닌지 판정하는 눈금(지표)입니다.

분석은 네 가지로 나뉩니다. 서로 다른 것은 무엇을 쪼개느냐입니다 — 하나는 대표 지표를 쪼개고, 하나는 사용자 수의 변화를 쪼개고, 하나는 쓴 날수를 쪼개고, 하나는 남을 사람과 떠날 사람을 가르는 행동을 찾습니다.

1. 북극성 지표 분해 — 팀이 대표로 삼은 지표 하나를 곱셈과 덧셈으로 풀어 헤치는 작업입니다. 페이지덱이 주간 활성 편집자 수를 대표 지표로 삼았다면 이 값은 활성 팀 수 × 팀당 구성원 수 × 그중 문서를 고친 사람의 비율로 적힙니다. 이렇게 적어 두면 "지표를 올리자" 는 말이 팀을 더 데려올지, 팀 안에서 쓰는 사람을 늘릴지, 보기만 하는 사람을 고치는 사람으로 바꿀지 세 갈래로 갈라집니다. 지금 값을 넣어 보면 어느 쪽이 가장 싸게 움직이는지도 드러납니다. 팀 수를 10퍼센트 늘리는 데 드는 돈과 편집 비율을 10퍼센트 올리는 데 드는 돈은 대개 자릿수가 다릅니다.
2. 그로스 어카운팅 — 이번 달 활성 사용자 수의 변화를 신규, 복귀, 이탈, 유지 네 덩어리로 갈라 적는 방법입니다. 지난달 3만 명이 이번 달에도 3만 명이면 아무 일도 없어 보입니다. 안을 열어 신규 4,000명과 복귀 900명이 들어오고 4,900명이 빠져나간 결과라는 것이 보이면 이야기가 달라집니다. 순증은 똑같이 0이지만 신규 1,000명에 이탈 1,000명인 회사와는 전혀 다른 상태이고, 손댈 곳도 다릅니다. 앞쪽은 구멍을 막는 일이 급하고 뒤쪽은 물을 더 붓는 일이 급합니다.
3. 파워 유저 커브 — 한 달 동안 며칠 들어왔는지로 사용자를 줄 세워 그린 분포입니다. 가로축이 1일부터 30일까지이고 세로축이 그 일수만큼 쓴 사람의 수입니다. 대부분의 제품은 왼쪽이 높고 오른쪽으로 갈수록 낮아지는 미끄럼틀 모양인데, 오른쪽 끝이 다시 솟으면 거의 매일 쓰는 무리가 뚜렷하게 있다는 뜻입니다. 이 모양은 활성 사용자 3만 명이라는 한 줄로는 절대 보이지 않습니다. 같은 3만 명이라도 전부 한 달에 한두 번 들르는 제품과 5,000명이 매일 붙어 있는 제품은 다음 분기가 완전히 다릅니다. 앞쪽은 경쟁 제품이 나타나면 한 달 만에 비고, 뒤쪽은 그 5,000명이 회사 안에서 다른 팀을 데려옵니다.
4. 매직 넘버 — 가입 직후에 어떤 행동을 몇 번 하면 그 뒤로 남는 비율이 크게 갈리는지, 그 기준점을 찾는 작업입니다. 첫 주에 문서를 3개 이상 만든 사람은 두 달 뒤에도 60퍼센트가 남아 있는데 2개 이하인 사람은 18퍼센트만 남는다면 기준점은 3입니다. 이 값을 찾아 두면 새로 들어온 사람에게 무엇을 시켜야 하는지가 하나로 좁혀집니다. 안내 메일도, 첫 화면의 버튼도, 도움말의 순서도 전부 그 숫자를 향해 정렬됩니다.

지표는 그렇게 본 상태를 한 값으로 줄이는 갈래이고 지금은 하나가 들어 있습니다. 퀵 레이시오는 새로 얻은 양을 잃은 양으로 나눈 값입니다. 신규와 복귀를 더해 이탈로 나누므로 1이면 들어온 만큼 나간 것이고 1보다 크면 순증입니다. 앞의 예에서 (4,000 + 900) ÷ 4,900 은 정확히 1.0 이라 제자리입니다. 업계에서는 초기 SaaS 기준으로 4 언저리를 건강한 값으로 이야기하는데, 이 숫자가 쓸모 있는 이유는 성장률 하나만으로는 구분되지 않는 두 회사를 갈라 주기 때문입니다. 둘 다 월 10퍼센트씩 크고 있어도 한쪽은 퀵 레이시오가 5이고 다른 쪽은 1.2라면, 뒤쪽은 지금 속도를 유지하려고 매달 더 많은 사람을 데려와야 하는 상태입니다. 데려오는 데 드는 돈은 대개 시간이 갈수록 오르므로, 이 값이 낮은 채로 오래 버티는 회사는 없습니다.

두 갈래는 순서대로 맞물립니다. 지표가 먼저 이상 신호를 띄우고 분석이 그 신호의 자리를 찾습니다. 퀵 레이시오가 3.1에서 0.9로 떨어지면 무언가 잘못됐다는 것까지는 알 수 있지만 어디가 잘못됐는지는 모릅니다. 어카운팅으로 갈라 보면 이탈이 늘었는지 신규가 줄었는지가 나오고, 거기서 다시 경로별로 쪼개면 어느 길로 온 사람들이 빠지는지가 나옵니다. 자리가 잡히면 그로스 실험이 그 자리를 한 번 건드려 보고, 건드린 결과를 다시 이 갈래가 읽습니다.

네 가지 방법은 모두 같은 전제 위에 서 있습니다. 사용자가 화면에서 무엇을 눌렀는지가 기록으로 남아 있어야 합니다. 문서를 만들었다는 사실이 아무 데도 적히지 않는 제품에서는 매직 넘버를 찾을 수 없고, 가입할 때 어느 길로 들어왔는지를 저장해 두지 않으면 경로별로 나눠 볼 수 없습니다. 기록을 설계하는 일이 분석보다 몇 달 앞서야 하는 이유입니다. 지난 분기를 돌아보고 싶어졌을 때 그 분기의 기록을 소급해서 만들어 낼 방법은 없습니다.

"이번 달 순증이 0인데, 어카운팅으로 갈라 보면 문제는 신규가 아니라 이탈이에요."

같은 0이라도 데려오는 쪽이 아니라 붙잡는 쪽을 고쳐야 한다는 말입니다.

"가입 수를 경로별로 나눠서 다시 주세요. 합쳐 놓으면 광고가 다 가립니다."

덩치 큰 항목 하나가 나머지의 움직임을 덮고 있으니 쪼개서 보자는 요청입니다.

"숫자는 올랐는데 이번 건은 효과라고 못 씁니다. 같은 주에 배포가 세 개 나갔어요."

원인 후보가 여럿이라 이번 변화의 몫을 떼어 낼 수 없다는 뜻입니다.

페이지덱의 월간 성장 회의는 대체로 지현이 화면 하나를 띄우면서 시작합니다. 지난달 대비 활성 사용자가 3만 명에서 3만 200명이 됐다는 줄 아래에, 신규 4,000명과 복귀 900명과 이탈 4,700명이 따로 적혀 있습니다. 규원이 보는 줄은 맨 위지만 대화가 붙는 줄은 아래입니다. 이탈 4,700명 중 2,600명이 가입한 지 한 달이 안 된 사람이라는 것까지 나오면, 회의의 주제는 광고 예산이 아니라 첫 한 달이 됩니다.

현우는 여기에 경로를 겹쳐 봅니다. 새로 들어온 4,000명 중 광고로 온 1,800명은 한 달 뒤 12퍼센트만 남고, 검색으로 온 1,100명은 41퍼센트가 남습니다. 광고를 끊자는 결론으로 바로 가지는 않습니다. 광고로 온 사람이 왜 빨리 떠나는지, 광고가 약속한 것과 제품이 보여 주는 첫 화면이 어긋나 있는 것은 아닌지를 먼저 봅니다. 이 단계에서 나오는 것은 답이 아니라 다음에 확인할 후보 두세 개입니다. 회의의 산출물도 결론이 아니라 그 후보 목록입니다. 지현이 후보마다 무엇을 보면 판정이 나는지를 한 줄로 적어 두고, 다음 달 같은 자리에서 그 줄을 먼저 펼칩니다.

데이터를 많이 모으면 분석이 저절로 된다고 생각하기 쉽습니다. 화면마다 기록을 심고 대시보드를 스무 개 만들어 두면 언젠가 답이 보일 것 같기 때문입니다. 실제로는 반대로 움직입니다. 물어볼 질문 없이 쌓은 기록은 어느 항목이 무엇을 뜻하는지조차 흐려지고, 같은 이름의 지표가 대시보드마다 다른 값을 내놓는 상태가 됩니다. 그렇게 되면 회의는 숫자를 놓고 논의하는 대신 어느 숫자가 맞는지를 따지는 자리로 바뀌고, 분석을 하라고 만든 도구가 분석을 막습니다. 먼저 정할 것은 무엇을 알고 싶은지이고, 기록은 그 질문에서 거꾸로 설계합니다. 이번 분기에 답해야 할 질문이 다섯 개라면 심어야 할 기록도 그 다섯 개를 따라 정해집니다.

같이 움직인 두 숫자를 원인과 결과로 읽는 것도 흔합니다. 첫 주에 문서를 3개 만든 사람이 오래 남는다는 결과를 보면 문서를 3개 만들게 하면 오래 남을 것이라는 결론이 자연스럽게 따라옵니다. 하지만 그 3개는 원인이 아니라 흔적일 수 있습니다. 애초에 쓸 일이 많아서 들어온 사람이 문서도 많이 만들고 오래 남는 것이라면, 쓸 일이 없는 사람에게 문서 3개를 만들게 해도 남지 않습니다. 이 구분을 건너뛰면 팀은 한 분기를 들여 신규 사용자에게 문서 3개를 만들게 하는 안내를 붙이고, 지표상 3개 달성률은 40퍼센트에서 70퍼센트로 오르는데 두 달 뒤 남는 비율은 그대로인 결과를 받습니다. 흔적을 원인으로 바꾸려면 한쪽에만 그 안내를 보여 주고 나머지와 비교해 보는 절차가 따로 필요합니다. 분석이 내놓는 것은 언제나 후보이고, 그 후보를 원인으로 승격시키는 것은 분석이 아니라 그다음 단계의 일입니다.