가드레일 지표

팀에 숫자 하나를 목표로 주면 그 숫자는 대개 올라갑니다. 문제는 그다음에 벌어지는 일입니다. 어떤 숫자든 올리는 가장 빠른 길이 하나씩 있고, 그 길은 거의 언제나 옆에 있는 무언가를 갉아먹습니다.

페이지덱에서도 한 번 겪었습니다. 가입 완료율을 분기 목표로 걸었더니 안내 메일을 하루 세 통까지 늘리는 안이 나왔고, 실제로 완료율이 62퍼센트에서 71퍼센트로 올랐습니다. 목표를 달성했다는 보고가 나간 다음 달, 메일 수신 거부율이 0.4퍼센트에서 1.8퍼센트로 뛰어 있었습니다. 한 번 거부한 사람에게는 다시 보낼 길이 없으니 되돌릴 방법도 없었습니다. 올린 숫자보다 잃은 쪽이 컸는데, 그 사실은 아무도 그 숫자를 보고 있지 않아서 한 달 뒤에야 드러났습니다.

목표 하나만 걸린 계기판에서는 이런 일이 보이지 않습니다. 그래서 지표를 정할 때 올려야 할 숫자와 함께 지켜야 할 숫자를 짝으로 정해 두는 방식이 자리를 잡았습니다. 가드레일 지표라는 이름이 붙은 것이 그 지켜야 할 쪽입니다. 도로 가장자리의 가드레일처럼 평소에는 아무 일도 하지 않다가 차가 선을 넘을 때만 막아섭니다.

가드레일 지표는 새로 계산해 내는 숫자가 아니라 이미 재고 있던 숫자 가운데 하나를 골라 그 자리에 앉히는 것입니다. 고르는 순서가 정해져 있습니다.

1. 올릴 숫자를 먼저 못 박습니다. 이번 분기 가입 완료율처럼 한 문장으로 적습니다. 지킬 것을 정하려면 무엇을 밀어붙일지가 먼저 있어야 합니다.
2. 그 숫자를 올리는 가장 손쉬운 편법을 팀이 소리 내어 적어 봅니다. 메일을 더 보낸다, 해지 버튼을 숨긴다, 가입 단계를 줄이려고 필수 정보를 나중에 받는다 같은 것들입니다. 나쁜 의도를 가정하는 게 아니라 길이 어디로 나 있는지를 보는 단계입니다. 압박을 받는 팀은 대개 가장 짧은 길로 가고, 그 길은 회의에서 30분만 이야기해 보면 전부 나옵니다.
3. 그 편법이 망가뜨리는 것을 재고 있는 숫자를 고릅니다. 메일이면 수신 거부율, 해지 버튼이면 고객 문의 건수, 정보를 나중에 받는 것이면 가입 후 첫 주 이탈률입니다.
4. 선을 정합니다. 지금 값과 허용 폭을 함께 적습니다. 수신 거부율이 지금 0.4퍼센트라면 0.8퍼센트를 넘으면 되돌린다고 적어 두는 식입니다. 이 선은 반드시 배포나 실험을 시작하기 전에 적습니다. 결과를 보고 나서 정하면 그때의 값을 기준으로 삼게 됩니다.
5. 두 숫자를 같은 화면에 놓고 함께 읽습니다. A/B 테스트를 돌린다면 결과 표에 목표 지표와 가드레일 지표가 나란히 나와야 합니다. 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 실험이 A/B 테스트입니다.

판정은 단순합니다. 목표 지표가 올랐어도 가드레일이 선을 넘었으면 그 변경은 되돌립니다. 둘을 저울에 올려 이번엔 넘어가자는 논의를 그 자리에서 시작하면 선을 적어 둔 뜻이 없어집니다.

좋은 가드레일 지표는 실제로 움직이는 숫자입니다. 절대 움직이지 않는 숫자를 걸어 두면 안전한 느낌만 주고 아무것도 막지 못합니다. 지난 1년 동안 값이 거의 변하지 않았다면 이번 변경으로도 변하지 않을 테니 다른 숫자를 골라야 합니다.

반응이 너무 늦은 숫자도 가드레일로는 약합니다. 분기 해지율은 정확하지만 이번 배포가 잘못됐는지를 넉 달 뒤에 알려 줍니다. 대신 앞서 움직이는 숫자를 씁니다. 결과보다 먼저 움직여 앞날을 알려 주는 지표를 선행 지표라고 하는데, 해지율 자리에는 배포 다음 주의 재방문율 같은 것이 들어갑니다.

개수는 두세 개가 적당합니다. 하나면 놓치는 방향이 생기고, 여섯 개를 걸면 매번 하나쯤은 선을 넘어 있어서 아무것도 배포하지 못합니다. 2번 단계에서 적은 편법 목록 가운데 팀이 실제로 택할 만한 두세 가지에만 짝을 붙이는 편이 낫습니다.

마지막 기준은 기록입니다. 지난 분기에 이 선 때문에 되돌린 변경이 한 건도 없다면 선이 너무 느슨하거나 아무도 안 보고 있는 것입니다. 실제로 한 번 되돌려 본 팀에서만 이 숫자가 힘을 갖습니다. 한 번 되돌린 뒤로는 실험 계획서에 가드레일 줄을 비워 두고 오는 사람이 없어집니다.

"이번 실험 가드레일은 수신 거부율 0.8퍼센트로 잡았습니다."

넘으면 결과와 무관하게 되돌린다는 선을 미리 공유하는 말입니다.

"전환율은 올랐는데 가드레일이 깨졌어요. 롤백하겠습니다."

목표는 달성했지만 대가가 정해 둔 선을 넘었다는 뜻입니다.

"이 지표는 가드레일로 못 써요. 1년 내내 안 움직였어요."

민감하지 않아 아무것도 막아 주지 못한다는 지적입니다.

페이지덱의 실험 결과 문서에는 표가 하나 있고 줄이 늘 네 개입니다. 맨 위가 이번에 올리려는 숫자이고 그 아래 두 줄이 가드레일, 마지막 줄이 실험 대상 인원입니다. 현우가 가입 흐름에서 단계를 하나 빼는 안을 돌렸을 때 첫 줄은 올랐지만 둘째 줄인 첫 주 이탈률이 선을 넘었습니다.

그 자리에서 나온 결론은 안을 버리는 것이 아니라 왜 빠진 단계가 첫 주에 영향을 주는지를 보는 것이었습니다. 지현이 자주 하는 말이 있습니다. 가드레일이 울린 실험은 실패한 실험이 아니라 뭔가를 알아낸 실험이라는 것입니다.

가드레일 지표를 절대 움직이면 안 되는 숫자로 읽는 경우가 가장 많습니다. 지킨다는 말이 붙어 있으니 그렇게 들립니다. 실제로는 허용 폭이 함께 적힌 숫자입니다. 수신 거부율이 0.4에서 0.5로 오른 것은 넘은 것이 아니라 예상 범위 안입니다. 조금만 움직여도 되돌리기 시작하면 팀은 아무것도 바꾸지 않는 쪽이 안전하다고 배우고, 그러면 목표 지표도 함께 멈춥니다.

지표를 많이 걸어 둘수록 안전하다고 여기는 것도 흔합니다. 지켜보는 눈이 많으면 놓치는 것이 줄 것 같기 때문입니다. 하지만 숫자는 저절로 흔들리기 때문에 여섯 개를 걸면 그중 하나는 늘 평소와 다른 값을 보입니다. 그때마다 논의가 붙고, 몇 주가 지나면 팀은 경고를 무시하는 쪽을 택합니다. 걸어 둔 선이 여섯 개인 팀과 하나도 없는 팀이 결국 같은 자리에 서게 됩니다. 걸린 숫자의 개수가 아니라 그 선을 실제로 지키는지가 안전을 만듭니다.