실험 백로그

실험 아이디어는 어디서든 나옵니다. 고객 문의에 답을 쓰다가, 지표 화면을 보다가 하나씩 떠오릅니다. 문제는 그것이 슬랙과 회의록과 개인 메모에 흩어진 채 남는다는 것이었습니다. 한자리에 모이지 않으니 다음에 무엇을 돌릴지는 매번 회의 자리에서 새로 정해졌습니다.

그래서 회의는 늘 같은 모양으로 흘러갔습니다. 한 사람이 "가입 화면 입력 칸을 줄여 보자" 고 하고 다른 사람이 "안 쓰는 사용자에게 추천 메일을 보내 보자" 고 합니다. 두 안을 견줄 기준이 없으니 더 자신 있게 말한 쪽이 다음 2주를 가져갑니다. 밀린 쪽은 적히지 않은 채 사라지고, 두 달 뒤에 같은 아이디어가 새것처럼 다시 올라옵니다.

실험 백로그는 이 흩어짐을 한 장으로 모으려고 만든 문서입니다. 다만 모으는 것 자체가 목적은 아닙니다. 한 분기에 아이디어는 서른 개쯤 쌓이는데 실제로 돌릴 수 있는 것은 대여섯 개라, 이 목록이 하는 일은 담는 것이 아니라 스물다섯 개를 눈에 보이게 접는 것입니다.

항목 하나에 적히는 것은 여섯 가지입니다. 제목만 한 줄 적힌 항목은 순서를 매길 수가 없어 목록에 들어가도 묻힙니다.

1. 가설 한 문장 — 무엇을 바꾸면 어떤 숫자가 어떻게 움직일지를 적은 실험 가설이 그대로 들어갑니다. "가입 화면의 입력 칸을 다섯 개에서 두 개로 줄이면 가입 완료율이 24퍼센트에서 30퍼센트로 오른다" 가 한 예입니다.
2. 근거 — 그렇게 보는 이유입니다. 이탈이 세 번째 칸에 몰려 있다는 기록이나 같은 말을 한 고객 문의 열두 건입니다. 이 칸이 비면 숫자가 그대로였을 때 무엇이 틀렸는지 대조할 자리가 없습니다.
3. 움직일 지표 하나 — 통했는지를 판정할 숫자입니다. 두 개를 적으면 하나가 오르고 하나가 내렸을 때 결론이 없습니다.
4. 예상 효과 — 그 지표가 얼마에서 얼마로 갈 것으로 보는지입니다. 적지 않으면 끝난 뒤에 맞았는지를 말할 수 없습니다.
5. 드는 품 — 만들어 띄우는 데 며칠이 걸리는지를 디자인 반나절, 개발 이틀처럼 사람별로 나눠 적습니다.
6. 상태 — 후보인지, 이번 회차에 잡혔는지, 돌아가는 중인지, 끝났는지, 접혔는지입니다.

순서는 앞의 셋을 하나의 점수로 압축해 매깁니다. 가장 흔한 방식이 ICE입니다. 통하면 숫자가 얼마나 움직일지(영향), 통할 것이라는 확신이 얼마나 되는지(확신), 만들기가 얼마나 쉬운지(용이성)에 1에서 10을 주고 곱합니다. 영향 8·확신 4·용이성 9 인 후보는 288점, 영향 9·확신 7·용이성 2 인 후보는 126점입니다. 효과가 더 커 보이는 쪽이 밀리는데, 3주짜리 한 건보다 이틀짜리 세 건이 더 많이 알려 주기 때문입니다. 점수의 쓰임새는 서른 개를 세 덩어리로 가르는 데까지입니다. 지금 돌릴 것, 다음에 다시 볼 것, 접을 것.

목록의 주인은 한 명으로 정해 둡니다. 페이지덱에서는 그로스 마케터인 현우가 들고 있고, 순서를 다시 매기는 일도 접는 결정도 현우 손에서 납니다. 주인이 없는 목록은 두 주 만에 아무도 열지 않습니다.

항목을 올리는 데는 제한을 두지 않습니다. 세일즈인 수아가 상담 중에 들은 말을 올리고, 개발자인 태오가 로그에서 눈에 걸린 것을 올립니다. 요구하는 것은 가설 한 문장과 근거뿐이고 점수와 품은 나중에 붙입니다. 문턱을 높이면 아이디어는 다시 슬랙으로 돌아갑니다.

품 추정만은 만들 사람이 합니다. 현우가 이틀로 적어 둔 항목이 태오가 보기에는 엿새인 일이 흔하고, 그 차이 하나로 순서가 뒤집힙니다.

읽는 사람은 셋이고 각자 다른 것을 찾습니다. 실행하는 사람은 이번 회차에 무엇을 돌릴지를 봅니다. 프로덕트 매니저인 지현은 올라온 후보가 이미 만들기로 한 기능과 겹치지 않는지를 봅니다. 대표인 규원은 분기에 한 번 개별 후보가 아니라 두 숫자를 읽습니다. 지난 분기에 몇 건을 끝냈는지를 세는 실험 속도, 그중 몇 건이 뚜렷한 개선을 냈는지를 보는 실험 성공률입니다. 앞 숫자가 네 건에 머물러 있으면 아이디어가 모자란 것이 아니라 한 건을 띄우는 데 걸리는 시간이 문제라는 뜻입니다.

"그건 백로그에 올려 두세요. 이번 회차는 이미 세 개 잡혔어요."

지금 하지 말자는 거절이 아니라 다음 순서 심사에 올리자는 뜻입니다.

"점수는 제일 높은데 개발이 3주짜리라 이번엔 뺐어요."

효과가 커 보여도 품이 크면 밀린다는, 순서를 매기는 규칙을 그대로 말한 것입니다.

"이거 작년 4월에 돌렸던 거예요. 결과가 남아 있어요."

같은 후보가 다시 올라왔을 때 실험 기록을 꺼내 대조하고 접는 장면입니다.

페이지덱에서는 2주 주기로 실험을 돌리는 그로스 스프린트 첫날에 이 목록을 띄웁니다. 지난 회차에 돌린 두세 건의 결과를 먼저 읽고 그에 따라 순서를 다시 매깁니다. 지난 실험이 통했으면 비슷한 가정에 기댄 후보들의 확신 점수가 함께 오르고, 통하지 않았으면 그 가정에 얹혀 있던 후보 네댓 개가 한꺼번에 내려갑니다.

그다음에 위에서부터 이번에 돌릴 것을 고릅니다. 목록에 이틀로 적혀 있어도 그 화면이 결제와 얽혀 있으면 엿새가 되고, 그러면 바로 다음 후보로 넘어갑니다.

목록을 아이디어 창고로 여기는 경우가 가장 많습니다. 올려 두면 언젠가는 돌아갈 것 같아서 접는 결정을 미루게 됩니다. 실제로는 한 분기에 대여섯 개만 돌아가므로 반년 넘게 머문 항목은 대기가 아니라 이미 접힌 것입니다. 그 차이를 적어 두지 않으면 백 개를 넘어가는 순간 아무도 아래쪽을 읽지 않아 거기 놓인 좋은 후보까지 같이 묻힙니다.

점수가 순서를 정해 준다고 읽는 것도 흔합니다. 숫자로 나오니 계산만 하면 답이 나올 것 같습니다. 하지만 세 축 중 확신은 사람이 매기는 값이라, 같은 후보를 두고 현우는 7을 주고 태오는 3을 줍니다. 점수를 그대로 따르면 확신을 후하게 매기는 사람의 후보가 늘 위로 올라갑니다. 덩어리 안의 순서는 사람이 정합니다. 여기에 더해 점수와 무관한 자리를 하나 비워 둡니다. 가입 방식을 통째로 바꾸는 후보는 확신이 낮아 점수가 늘 밑으로 가는데, 그것만 계속 밀면 작은 개선만 반복하다 더 큰 도약을 놓치는 지역 최적에 갇힙니다.