실험 속도

성장이 한 번의 큰 개편이 아니라 여러 번의 작은 시도에서 나온다는 생각이 퍼진 뒤, 팀들은 실험이 통했는지를 따지기 시작했습니다. 이번 안이 이겼는지 졌는지, 차이가 우연이 아닌지를 봤습니다. 그런데 반년이 지나도 지표가 제자리인 팀이 계속 나왔고, 그 팀들은 무엇을 잘못하고 있는지 짚지 못했습니다. 돌린 것마다 결과는 제대로 읽었기 때문입니다.

빠진 질문은 몇 번 돌렸느냐였습니다. 한 분기에 네 번 돌린 팀과 스물네 번 돌린 팀은 열 번에 두 번 이기는 같은 실력이어도 한 해 뒤에 손에 쥔 개선의 수가 여섯 배 차이가 납니다. 앞 팀은 한 해에 세 건을 건지고 뒤 팀은 스무 건 가까이를 건집니다. 회의에서 "우리 실험 잘하고 있나요" 라고 물으면 승패 이야기만 오갔고, 시도 횟수는 아무도 세지 않아 답에 들어가지 않았습니다.

실험 속도는 그 빠진 자리를 채우려고 만든 숫자입니다. 잘 맞혔는지가 아니라 얼마나 자주 돌렸는지를 봅니다. 이 숫자를 세기 시작하면 개선이 안 나오는 이유가 아이디어가 나빠서인지, 그냥 시도를 적게 해서인지가 처음으로 갈립니다.

정해 둔 기간 안에 결과를 읽고 채택이나 폐기까지 결정한 실험의 건수를 셉니다. 계산은 세 단계입니다.

1. 기간을 정합니다. 분기가 흔하고, 실험을 자주 돌리는 팀은 달 단위로 봅니다. 기간이 짧으면 한 건 차이로 숫자가 흔들려 추세가 안 보입니다.
2. 한 건으로 셀 기준을 정합니다. 시작한 것이 아니라 끝난 것을 셉니다. 여기서 끝났다는 것은 정해 둔 기간이나 표본이 차서 결과를 읽고, 그 결과로 무엇을 할지까지 정한 상태입니다. 켜 두기만 하고 아무도 결과를 열어 보지 않은 것은 세지 않습니다.
3. 셉니다. 3분기에 끝난 것이 12건이면 실험 속도는 분기당 12건, 달로 환산하면 4건입니다.

경계에 걸리는 것이 둘 있습니다. 하나는 도중에 멈춘 실험입니다. 장애가 나서 껐거나 설정이 잘못돼 데이터를 못 쓰게 된 건은 빼는 편이 낫습니다. 그건 시도가 아니라 사고에 가깝습니다. 다른 하나는 진 실험인데, 이건 반드시 셉니다. 졌다는 사실도 다음 후보를 바꾸는 결과이고, 진 것을 빼기 시작하면 숫자가 실험 성공률과 뒤섞여 둘 다 못 읽게 됩니다.

팀이 여럿이면 인원으로 나눠 보기도 합니다. 여덟 명이 분기에 12건, 세 명이 9건을 돌렸다면 사람 수로 나눈 값은 뒤쪽이 두 배입니다. 이 나눗셈은 팀을 줄 세우려는 것이 아니라 사람을 더 넣으면 횟수가 따라 늘어나는지 보려는 것입니다. 대개는 따라 늘지 않고, 그 사실 자체가 병목이 사람이 아니라는 신호입니다.

몇 건이면 충분하다고 말할 수 있는 절대값은 없습니다. 상한을 정하는 것은 의지가 아니라 제품에 오는 사람 수입니다. 가입 완료율 24퍼센트와 30퍼센트를 갈라내려면 두 갈래에 각각 천 명 안팎이 필요한데, 이렇게 한 건의 결론을 내는 데 필요한 방문자 수가 필요 표본 수입니다. 일주일에 방문자가 400명인 제품이라면 한 건에 다섯 주가 걸리고, 그러면 분기에 두세 건이 한계입니다. 같은 팀이 방문자 10만인 제품으로 옮기면 하루에 한 건씩도 돌아갑니다.

그래서 기준은 다른 팀의 숫자가 아니라 지난 분기의 우리 숫자입니다. 분기당 4건에서 9건으로 올라갔으면 좋아진 것이고, 12건에서 7건으로 내려갔으면 무엇이 느려졌는지 찾을 일입니다.

이 숫자가 낮을 때 원인은 아이디어가 아닙니다. 후보는 실험 백로그에 서른 개쯤 쌓여 있는데도 분기에 네 번밖에 못 돌리는 경우가 훨씬 흔합니다. 막히는 자리는 대개 한 건을 띄우기까지의 과정입니다. 승인이 세 번 필요하고 배포 대기가 한 주이고 결과를 보려면 사흘을 기다려야 한다면 후보가 백 개여도 횟수는 늘지 않습니다.

혼자 보면 오해를 부르는 숫자이기도 합니다. 분기 24건인데 성공률이 0에 가깝다면 아무 데나 찔러 보고 있다는 뜻이고, 성공률 50퍼센트인데 분기 3건이라면 확실한 것만 붙잡고 있다는 뜻입니다. 두 숫자는 나란히 놓고 볼 때만 뜻이 생깁니다.

"지난 분기 실험 속도가 12건이었는데 이번 분기는 7건이에요."

횟수가 줄었으니 어디서 막혔는지 찾아보자는 신호입니다.

"아이디어가 부족한 게 아니라 하나 띄우는 데 3주가 걸려서 그래요."

속도가 낮은 원인이 후보가 아니라 절차에 있다는 진단입니다.

"이번 분기는 속도를 올리는 대신 큰 걸 하나 제대로 돌려 보죠."

숫자를 일부러 낮추기로 정하는 자리입니다.

페이지덱은 그로스 스프린트를 2주 주기로 돌리면서 회차마다 끝난 건수를 적어 둡니다. 분기가 끝나면 현우가 그 합을 대표인 규원에게 보고합니다. 지난 분기 12건이 이번 분기 7건으로 떨어졌을 때 규원이 묻는 것은 왜 못 했느냐가 아니라 어디서 멈춰 있었느냐입니다.

그 자리에서 나온 답은 보안 검토였습니다. 결제 화면을 건드리는 실험 세 건이 검토 대기로 4주씩 묶여 있었고 그동안 다음 후보는 시작되지 못했습니다. 다음 분기에 팀이 고친 것은 결제 화면을 건드리지 않는 후보를 먼저 배치하는 순서였고, 숫자는 11건으로 돌아왔습니다.

실험 속도를 올려야 할 목표로 읽는 경우가 가장 많습니다. 숫자가 올라가면 팀이 빨라진 것처럼 보이니 분기 목표로 삼고 싶어집니다. 하지만 이 숫자는 무엇을 돌렸는지를 묻지 않기 때문에 올리는 가장 쉬운 방법이 작은 것만 돌리는 것입니다. 버튼 색과 문구만 바꾸는 실험은 하루에도 두 건씩 돌아가고, 목표를 받은 팀은 반년 뒤 분기 30건을 달성한 채 가입 방식처럼 크게 바꿔야 할 것은 한 번도 건드리지 않은 상태가 됩니다. 작은 개선만 반복하다 더 큰 도약을 놓치는 지역 최적이 이렇게 만들어집니다.

개발 속도와 같은 말로 쓰는 것도 흔한 오해입니다. 둘 다 빨리 만드는 이야기처럼 들리기 때문입니다. 하지만 이 숫자의 분모에는 만드는 시간 말고도 결과를 기다리는 시간과 그 결과를 읽어 결정하는 시간이 함께 들어 있습니다. 하루 만에 만든 실험이 표본을 채우는 데 2주가 걸리고 결과 해석에 또 닷새가 걸리면, 개발이 두 배 빨라져도 분기 건수는 거의 그대로입니다. 그래서 이 숫자를 올리려는 팀이 먼저 손대는 것은 코드가 아니라 승인 단계와 결과를 읽는 사람의 대기 시간입니다.