그로스 스프린트

실험은 미뤄도 그날 아무 일이 일어나지 않습니다. 장애가 나면 고쳐야 하고 고객이 기능을 요청하면 답해야 하지만, 이번 주에 실험을 하나도 안 돌린다고 누가 찾아오지는 않습니다. 그래서 일정에 이름이 붙어 있지 않은 동안 실험은 항상 맨 뒤로 밀립니다.

페이지덱에서도 그랬습니다. 분기를 시작하면서 지현이 실험 후보 30개를 적어 회의실 벽에 붙였는데, 분기가 끝났을 때 실제로 돌린 것은 두 개였습니다. 누가 반대해서가 아니었습니다. 매주 더 급해 보이는 일이 있었고, 실험은 다음 주로 미루면 되는 일이었습니다. 분기 회고에서 나온 말은 시간이 없었다는 것이었지만, 실제로는 시간을 떼어 둔 적이 없었습니다.

그로스 스프린트는 이 문제를 의지가 아니라 달력으로 푼 방식입니다. 실험을 돌릴 기간을 미리 끊어 두고 마지막 날에 결과를 읽는 자리를 잡아 둡니다. 그날 읽을 결과가 있어야 하니 그 전에 무언가를 띄워야 하고, 그래서 미룰 수 없게 됩니다. 실험 하나하나의 질을 높이려는 장치가 아니라 실험이 아예 안 도는 상태를 막으려는 장치입니다.

2주를 한 회차로 잡았을 때 순서는 여섯 단계입니다. 날짜가 고정돼 있어 회차마다 같은 요일에 같은 일이 반복됩니다.

1. 첫날 오전에 지난 회차 결과를 읽습니다. 이긴 실험은 전체에 켜고, 진 실험은 무엇이 틀렸는지를 한 줄로 남기고 닫습니다.
2. 이어서 실험 백로그의 순서를 다시 매깁니다. 지난 회차에서 배운 것이 후보들의 확신도를 바꾸기 때문에, 2주 전 순위가 그대로 맞는 경우는 드뭅니다.
3. 그 자리에서 이번에 돌릴 두세 개를 고르고 각각의 실험 가설을 문장으로 확정합니다. 무엇을 바꾸는지, 어느 숫자가 얼마나 달라질 것으로 보는지, 그렇게 보는 근거가 무엇인지를 회의실을 나가기 전에 적습니다.
4. 3일차부터 7일차까지 만듭니다. 이 기간에 못 만들 크기면 애초에 이번 회차 후보가 아니었다는 뜻이라, 크기를 줄이거나 다음 회차로 넘깁니다.
5. 8일차에 띄워 13일차까지 돌립니다. 기간을 미리 정해 두는 이유는 3일째 숫자가 좋을 때 멈추고 싶어지기 때문입니다. 표본이 적을수록 우연히 크게 벌어진 차이가 나오기 쉽습니다.
6. 마지막 날에 모여 판정하고 기록합니다. 이 자리가 다음 회차의 1단계가 되므로 두 회차가 이어져 돌아갑니다.

2주가 흔한 이유는 양쪽 사정 때문입니다. 1주로 끊으면 만드는 데 사흘, 돌리는 데 사흘이라 표본이 모자라 대부분의 실험이 판정 불가로 끝납니다. 4주로 늘리면 한 해에 돌릴 수 있는 횟수가 열세 번으로 줄어듭니다. 다만 하루 방문자가 적은 제품은 2주로도 표본이 안 차서 회차를 3주로 두거나, 한 회차에 실험을 하나만 놓고 나머지 시간을 준비에 씁니다.

고정으로 들어오는 사람은 서넛입니다. 실험을 설계하고 판정하는 그로스 담당, 실험을 띄우고 내리는 개발자 태오, 화면 변형안을 만드는 디자이너 민서, 숫자가 믿을 만한지 보는 애널리스트입니다. 이보다 많아지면 첫날 회의가 두 시간을 넘기고, 회차가 서너 번 지나면 사람들이 빠지기 시작합니다.

모이는 시점은 두 번뿐입니다. 첫날 60분에서 90분, 마지막 날 30분입니다. 그사이에는 정기 회의를 잡지 않습니다. 만드는 기간에 회의를 더 붙이면 이 리듬이 또 하나의 보고 절차가 되기 때문입니다.

나머지는 필요할 때만 들어옵니다. 그로스 마케터 현우는 광고나 랜딩 페이지를 건드리는 실험이 있는 회차에만 첫날 회의에 앉습니다. 대표 규원은 분기의 첫 회차에만 들어와 이번 분기에 어느 지표를 볼지 합의하고, 그다음부터는 마지막 날 기록만 읽습니다. 어느 실험을 돌릴지까지 경영진이 고르기 시작하면 확신이 낮은 후보가 목록에서 사라집니다.

"이번 회차는 두 개만 갑니다. 세 개 넣으면 하나는 또 못 띄워요."

지난 회차에 만들다 만 실험이 있었으니 담는 양을 줄이자는 뜻입니다.

"그건 이번 회차에 못 들어가요. 백로그에 넣고 다음 첫날에 다시 보죠."

리듬 바깥에서 들어온 요청을 거절하는 게 아니라 순서 매기는 자리로 돌려보내는 말입니다.

"13일차까지 돌리기로 했으니 지금 숫자는 안 봐도 됩니다."

중간 숫자에 흔들려 조기 판정하지 말자는 뜻입니다.

페이지덱이 이 리듬을 처음 두 달 돌렸을 때 눈에 띈 변화는 실험 성공률이 아니라 횟수였습니다. 직전 분기에 두 개였던 실험이 두 달 만에 아홉 개가 됐습니다. 아홉 개 중 지표를 움직인 것은 두 개였으니 성공률로만 보면 22퍼센트였지만, 직전 분기에는 그런 숫자를 낼 표본 자체가 없었습니다.

리듬이 잡히자 다른 것도 따라왔습니다. 실험 하나를 띄우는 데 걸리던 시간이 나흘에서 하루 반으로 줄었습니다. 같은 일을 격주로 반복하니 태오가 일부 사용자에게만 새 화면을 켜 두는 장치를 아예 공용으로 만들어 뒀기 때문입니다. 회차를 고정하는 일의 효과는 대체로 이렇게 나타납니다. 한 번의 실험이 더 좋아지는 게 아니라 실험을 둘러싼 준비가 매번 깎입니다.

회차가 끝날 때마다 지표가 올라 있어야 한다고 보는 경우가 많습니다. 스프린트라는 말이 결과물을 내놓는 주기를 뜻해 왔으니 그렇게 읽힙니다. 그런데 실험은 열 번에 한두 번에서 세 번쯤 이기는 것이 보통입니다. 회차마다 성과를 요구하면 팀은 이길 것이 뻔한 후보만 고르게 되고, 그러면 버튼 색을 바꾸는 실험만 스무 번 돌린 채 아무것도 배우지 못한 분기가 나옵니다. 회차가 내놓기로 한 것은 지표 상승이 아니라 판정된 결과입니다.

많이 돌리는 것 자체가 목적이라고 보는 것도 흔합니다. 횟수는 세기 쉬우니 목표로 걸기 좋습니다. 하지만 횟수와 성공률은 함께 봐야 뜻이 생깁니다. 한 분기에 스물네 번을 돌렸는데 이긴 것이 하나도 없으면 아무 데나 찔러 보고 있다는 뜻이고, 성공률이 80퍼센트인데 네 번밖에 안 돌렸으면 이미 답을 아는 것만 골랐다는 뜻입니다. 앞의 숫자를 실험 속도, 뒤의 숫자를 실험 성공률이라고 부르고, 둘 중 하나만 목표로 걸면 나머지 하나가 반드시 망가집니다.