그로스 실험

제품을 고치는 결정은 오랫동안 회의실에서 났습니다. 가입 버튼에 무슨 문구를 넣을지, 무료 체험을 7일로 할지 14일로 할지, 가격표를 세 칸으로 둘지 네 칸으로 둘지. 이런 것에는 정답이 없고 각자 다른 그림을 갖고 있어서, 회의는 길어지는데 결론은 대개 직급이 높은 사람 쪽으로 기울었습니다.

페이지덱에서도 같은 장면이 반복됐습니다. 민서는 "무료로 시작하기" 가 문턱이 낮다고 하고 현우는 "14일 무료 체험" 이 값을 더 분명히 알려 준다고 합니다. 40분쯤 지나 규원이 "그럼 앞엣것으로 가죠" 하고 끊습니다. 두 사람 다 납득하지 못한 채 화면이 나가고, 한 달 뒤 가입이 8퍼센트 늘어도 그게 문구 덕인지 그달에 나간 블로그 글 덕인지 알 수 없습니다. 다음 달에 다시 문구 이야기가 나오면 지난번 근거는 하나도 남아 있지 않습니다. 같은 40분이 다시 흐르고, 이번에는 반대쪽으로 기울 수도 있습니다.

의견이 갈릴 때 사람이 아니라 사용자가 답하게 만들자는 것이 그로스 실험의 출발점입니다. 하는 일은 세 단계입니다. 먼저 무엇을 바꾸면 어느 숫자가 얼마나 오를 것이라는 예상을 글로 적습니다. 그다음 들어오는 사용자를 무작위로 두 갈래로 갈라 한쪽에는 원래 화면을, 다른 쪽에는 바꾼 화면을 보여 줍니다. 마지막으로 두 갈래에서 나온 숫자의 차이가 우연으로 생길 만한 크기인지 아닌지를 따집니다.

예상을 먼저 적게 하는 데는 이유가 있습니다. 결과를 본 뒤에는 어떤 숫자에든 그럴듯한 설명이 붙기 때문입니다. 숫자가 오르면 "역시 문턱을 낮춘 게 통했다" 가 되고 내리면 "값을 제대로 전달 못 한 탓" 이 됩니다. 두 설명 모두 결과를 보고 나서 만들어진 것이라 다음 결정에 아무 도움이 되지 않습니다. 두 갈래를 같은 기간에 나란히 돌리는 데도 이유가 있습니다. 바꾸기 전 한 달과 바꾼 뒤 한 달을 비교하면 그사이에 낀 연휴와 광고 집행과 계절이 전부 결과에 섞여 들어옵니다. 같은 날 같은 시간에 들어온 사람을 무작위로 가르면 두 무리의 조건이 바뀐 화면 하나만 빼고 같아지고, 그래서 차이의 원인을 그 하나로 좁힐 수 있습니다.

그로스 실험 아래 묶인 용어는 네 갈래입니다. 한 번의 시도를 글로 적는 자리(설계), 여러 시도를 줄 세워 굴리는 방식(운영), 그 굴림이 잘 돌고 있는지 보는 눈금(지표), 잘 돌기만 해서는 생기는 문제(위험)입니다.

설계는 시도 하나를 문장으로 고정하는 갈래입니다. 실험 가설은 무엇을 바꾸면 어떤 지표가 왜 움직일지를 한 문장으로 적어 둔 것입니다. 형식은 대개 셋으로 나뉩니다 — 무엇을 바꾸는지, 어느 숫자가 얼마나 달라질 것으로 보는지, 그렇게 보는 근거가 무엇인지. "가입 화면의 입력 칸을 다섯 개에서 두 개로 줄이면 가입 완료율이 24퍼센트에서 30퍼센트로 오른다. 이탈이 몰린 지점이 회사명과 직무를 묻는 세 번째 칸이기 때문이다" 가 한 예입니다. 근거 자리를 비워 두면 결과를 읽을 수 없습니다. 오르면 왜 올랐는지, 안 오르면 무엇이 틀렸는지가 근거와 대조할 때만 나오기 때문입니다. 세 번째 칸이 문제라고 보고 칸을 줄였는데 숫자가 그대로라면, 칸 수가 문제가 아니었다는 것을 알게 되고 다음 후보가 달라집니다.

운영은 시도를 하나씩이 아니라 줄로 다루는 갈래이고 둘로 나뉩니다. 무엇을 먼저 할지 정하는 쪽과 언제 돌릴지 정하는 쪽입니다.

1. 실험 백로그 — 돌릴 후보를 순서대로 모아 둔 목록입니다. 아이디어는 늘 서른 개쯤 쌓이는데 한 분기에 실제로 돌릴 수 있는 것은 대여섯 개라, 이 목록이 하는 일은 담는 것이 아니라 접는 것입니다. 순서는 보통 세 가지를 곱해 매깁니다. 통하면 숫자가 얼마나 움직일지, 통할 것이라는 확신이 얼마나 있는지, 만드는 데 며칠이 드는지. 효과가 커 보여도 6주가 드는 후보는 이틀짜리 후보 세 개에 밀립니다. 목록을 눈에 보이게 두는 이유도 있습니다. 접힌 스물다섯 개가 적혀 있지 않으면 같은 아이디어가 두 달 뒤에 새것처럼 다시 올라옵니다.
2. 그로스 스프린트 — 이 목록을 정해진 주기로 돌리는 리듬입니다. 2주가 흔합니다. 첫날에 지난 회차 결과를 읽고 백로그 순서를 다시 매기고, 그 자리에서 이번에 돌릴 두세 개를 고르고, 만들어 붙이고, 마지막 날에 다시 모입니다. 주기를 정해 두는 이유는 실험이 없으면 다른 급한 일이 그 시간을 항상 가져가기 때문입니다. 날짜가 잡혀 있으면 그날 읽을 결과가 있어야 하고, 그러려면 그 전에 무언가를 띄워 두어야 합니다.

지표는 이 굴림이 제대로 돌고 있는지 보는 갈래이고 둘이 짝을 이룹니다.

1. 실험 속도 — 일정 기간에 끝낸 실험의 개수입니다. 한 분기에 네 번 돌리는 팀과 스물네 번 돌리는 팀은 같은 성공률이라도 한 해에 손에 쥐는 개선의 양이 다릅니다. 이 숫자가 낮을 때 원인은 대개 아이디어가 아니라 배포까지 걸리는 시간입니다. 한 건을 띄우는 데 승인 세 번과 배포 대기 한 주가 붙어 있으면 후보가 서른 개여도 분기에 네 번밖에 못 돌립니다.
2. 실험 성공률 — 돌린 실험 중 뚜렷한 개선을 낸 것의 비율입니다. 열 번에 한두 번에서 세 번쯤이 보통입니다. 낮다고 나쁜 것이 아니고, 오히려 지나치게 높으면 신호입니다. 열 번 중 여덟 번이 이긴다면 이미 답을 아는 것만 골라 돌리고 있다는 뜻이라, 배우는 것이 거의 없습니다. 두 숫자는 함께 봐야 뜻이 생깁니다. 속도만 높고 성공률이 0에 가까우면 아무 데나 찔러 보고 있다는 뜻이고, 성공률만 높고 속도가 낮으면 확실한 것 하나를 오래 붙잡고 있다는 뜻입니다.

위험은 이 굴림을 잘하기만 할 때 생기는 문제의 갈래입니다. 지역 최적은 작은 개선만 반복하다가 더 큰 도약을 놓친 상태를 말합니다. 버튼 색과 문구를 계속 다듬어 전환율을 22퍼센트에서 26퍼센트까지 올려 놓았는데, 가입 방식 자체를 바꾼 경쟁 제품은 41퍼센트를 내고 있는 상황입니다. 안개 속에서 발밑만 보며 오르막을 따라가면 눈앞의 언덕 꼭대기에는 반드시 닿지만, 옆에 있는 더 높은 산에는 영영 못 갑니다. 한 걸음씩 재는 방식이 그 산으로 가는 길을 알려 주지 않기 때문입니다. 그래서 작은 시도만 돌리는 팀도 분기에 한 번쯤은 판을 크게 바꾸는 후보를 목록에 넣습니다. 그런 후보는 대개 확신이 낮아 순서에서 늘 밀리므로, 자리를 따로 떼어 두지 않으면 영영 돌아오지 않습니다.

네 갈래는 한 바퀴로 이어집니다. 설계가 시도 하나를 문장으로 만들고, 운영이 그 문장을 순서에 넣어 정해진 주기에 돌리고, 지표가 얼마나 자주 돌고 얼마나 맞히는지를 보여 주고, 위험이 그 바퀴가 제자리를 맴돌고 있지 않은지를 묻습니다. 바퀴 밖에 하나가 더 있습니다. 결과를 읽어 내는 일은 그로스 분석의 몫이라, 기록이 제대로 남지 않는 제품에서는 이 절차 전체가 성립하지 않습니다. 사용자를 두 갈래로 나눴다는 사실과 각 갈래가 무엇을 했는지가 남아 있어야 차이를 계산할 수 있습니다.

"이번 건은 유의하지 않게 나왔어요. 효과가 없다는 게 아니라 아직 모른다는 뜻입니다."

차이가 우연 범위 안이라 판정을 못 내렸다는 말이고, 진 것으로 적지 말자는 요청입니다.

"가설부터 적어 주세요. 뭐가 얼마나 오를 거라고 봤는지가 없으면 결과를 읽을 수가 없어요."

예상 없이 돌린 실험은 어떤 숫자가 나와도 해석이 사후에 붙는다는 지적입니다.

"이번 분기 성공률이 6할인데, 너무 안전한 것만 고르고 있는 것 같습니다."

이기는 실험이 많다는 사실을 배우는 것이 적다는 신호로 읽은 말입니다.

페이지덱의 그로스 스프린트는 2주에 한 번 월요일 오전에 시작합니다. 현우가 지난 회차에 돌린 세 건의 결과를 읽습니다. 가입 화면 입력 칸을 줄인 건은 완료율 24퍼센트에서 29퍼센트로 올라 남기기로 하고, 요금제 화면에 고객사 이름을 붙인 건은 차이가 0.4퍼센트포인트라 판정 없이 지우기로 합니다. 세 번째 건은 열흘 동안 한쪽에 들어온 사람이 900명뿐이라 아직 판정할 수 없어 2주 더 돌립니다.

그다음 백로그를 다시 정렬합니다. 지현이 새 후보 네 개를 들고 오면 현우가 각각에 예상 효과와 확신과 드는 품을 붙이고, 태오가 그중 어느 것이 이틀 안에 만들어 붙는지를 말합니다. 대개 여기서 절반이 접힙니다. 이날 고르는 것은 두세 개이고, 나머지는 목록에 남되 다음 회차에도 같은 기준으로 다시 밀릴 수 있습니다. 고른 건마다 며칠을 돌릴지와 한쪽에 몇 명이 들어와야 판정할지를 그 자리에서 함께 적어 둡니다. 나중에 정하면 결과를 본 뒤에 선을 옮기게 됩니다.

진 실험을 낭비로 보는 경우가 가장 많습니다. 2주를 들여 만든 화면을 결과가 안 좋다고 지우면 그 시간이 버려진 것처럼 보이기 때문입니다. 하지만 실험의 산출물은 화면이 아니라 판정입니다. 가격표를 네 칸으로 늘리면 유료 전환이 오를 것이라는 생각을 팀의 절반이 갖고 있었다면, 그렇지 않다는 결과 하나가 다음 분기에 같은 방향으로 들일 뻔한 여섯 주를 아껴 줍니다. 이 값을 인정하지 않는 팀은 두 가지 중 하나로 흘러갑니다. 이길 것 같은 것만 골라 돌려 성공률이 여덟 할까지 오르지만 배우는 것이 없거나, 진 실험을 지우지 않고 어떻게든 살려 둬서 제품이 서로 어긋나는 화면들로 채워집니다. 만든 것의 절반 이상이 지워진다는 전제로 시작하면 두 결과를 다 피할 수 있습니다. 지우기 쉽게 만들어 두는 것이 이 일에서는 완성도만큼 값을 합니다.

숫자가 앞서면 이긴 것으로 읽는 것도 흔합니다. 사흘째에 바꾼 쪽이 3퍼센트포인트 앞서 있으면 멈추고 발표하고 싶어집니다. 그럴듯해 보이는 이유는 실제로 앞서 있기 때문입니다. 그러나 표본이 적은 동안 두 갈래의 숫자는 아무 이유 없이도 서로 앞서거니 뒤서거니 합니다. 동전 스무 번을 던지면 앞면이 열세 번 나오는 일이 드물지 않은 것과 같습니다. 원하는 결과가 보일 때마다 멈추는 팀은 실제로는 차이가 없는 변화를 계속 이긴 것으로 적게 되고, 반년 뒤 그렇게 쌓은 개선을 전부 더한 값이 실제 지표에서는 보이지 않는 상황을 맞습니다. 그래서 며칠을 돌릴지와 한쪽에 몇 명이 들어와야 판정할지를 시작 전에 정해 두고, 그 선에 닿기 전에는 화면을 열어 보지 않습니다.