실험 가설

바꾸기 전에는 아무것도 적지 않고 결과가 나온 뒤에 숫자를 보며 해석하는 방식이 오래 이어졌습니다. 숫자를 먼저 보면 어떤 결과에도 말이 붙는다는 것이 문제입니다. 가입 완료율이 올랐으면 화면을 고친 덕분이 되고, 떨어졌으면 그 주에 광고가 바뀌어서가 되고, 그대로면 원래 그 자리는 잘 되고 있었다는 말이 됩니다. 세 설명이 모두 그럴듯하니 다음에 무엇을 해야 할지는 여전히 아무도 모릅니다.

그런 팀의 회의는 대개 이렇게 흘러갔습니다. 화면을 바꾼 지 2주 뒤에 모여 앉아 "전환율이 24퍼센트에서 26퍼센트가 됐네요" 까지는 함께 확인하는데, 그다음부터 각자 다른 이야기를 합니다. 디자이너는 버튼 위치를 옮긴 것이 먹혔다고 보고, 마케터는 그 주에 들어온 사람들이 원래 잘 가입하는 쪽이었다고 보고, 개발자는 2퍼센트포인트는 그냥 흔들린 폭이라고 봅니다. 무엇을 기대했는지 적어 둔 것이 없으니 어느 쪽도 틀렸다고 말할 근거가 없습니다.

실험 가설은 이 순서를 뒤집으려고 쓰는 문서입니다. 손대기 전에 무엇이 얼마나 움직일 것으로 보는지와 왜 그렇게 보는지를 미리 적어 두고, 나중에 그 문장과 실제 숫자를 맞춰 봅니다. 적어 둔 문장이 있으면 결과는 맞았거나 틀렸거나 둘 중 하나가 되고, 틀렸을 때는 무엇이 틀렸는지까지 함께 드러납니다.

한 문장 안에 세 가지가 들어갑니다. 무엇을 바꾸는지, 어느 숫자가 얼마나 달라질 것으로 보는지, 그렇게 보는 근거가 무엇인지입니다.

1. 바꾸는 것 — 만들 사람이 바로 착수할 수 있을 만큼 구체적으로 적습니다. "가입 화면을 개선한다" 는 열 가지로 읽히지만 "가입 흐름의 입력 칸을 다섯 개에서 두 개로 줄인다" 는 한 가지로만 읽힙니다.
2. 움직일 숫자와 폭 — 지표 하나를 지목하고 지금 값과 기대 값을 함께 적습니다. "가입 완료율이 24퍼센트에서 30퍼센트로 오른다" 처럼 씁니다. 폭을 적지 않으면 0.3퍼센트포인트가 올랐을 때 성공인지 실패인지 정할 수 없습니다.
3. 그렇게 보는 근거 — 왜 그 숫자가 움직인다고 보는지를 적습니다. "이탈이 몰린 지점이 회사명과 직무를 묻는 세 번째 칸이기 때문이다" 가 한 예입니다.

셋 중에서 가장 자주 비는 칸이 3번이고, 비어 있으면 결과를 읽을 수 없습니다. 세 번째 칸이 문제라고 보고 칸을 줄였는데 숫자가 그대로라면 칸 수가 원인이 아니었다는 것을 알게 되고, 그다음에 볼 후보가 달라집니다. 근거 없이 칸만 줄였다면 실패했다는 사실만 남고 다음 수는 다시 감으로 정하게 됩니다.

실무에서는 여기에 두 줄을 더 답니다. 누구에게 보여 줄지와 언제 멈출지입니다. 대상은 신규 방문자인지 이미 가입한 사람인지처럼 범위를 적고, 멈추는 시점은 기간이나 모을 사람 수로 적습니다. 이 두 줄이 없으면 이틀째에 숫자가 좋아 보일 때 실험을 멈추고 싶어지는데, 며칠 단위로 오르내리는 폭이 원래 그만큼이라 그 시점의 차이는 아직 아무것도 뜻하지 않습니다.

초안은 그 지표를 맡은 사람이 씁니다. 많은 팀에서 그로스 리드나 담당 마케터가 첫 문장을 쓰고, 그 자리에서 만들 개발자와 디자이너가 근거 칸을 함께 다듬습니다. 혼자 쓰고 넘기지 않는 이유는 근거가 대개 여러 사람에게 나뉘어 있기 때문입니다. 어느 칸에서 사람들이 빠져나가는지는 분석을 보는 사람이 알고, 그 칸을 왜 그렇게 만들었는지는 디자이너가 압니다.

읽는 사람은 셋입니다. 만들 사람은 어디까지 만들고 어디부터는 만들지 않아도 되는지를 이 문장에서 읽습니다. 결과를 판정할 사람은 2주 뒤에 이 문장과 숫자를 나란히 놓고 맞았는지 틀렸는지를 정합니다. 마지막은 반년 뒤에 같은 자리를 다시 건드리려는 사람입니다. 그 사람에게는 이 문장이 이미 해 본 일의 기록이라, 근거까지 남아 있으면 같은 실패를 되풀이하지 않습니다.

그래서 이 문서는 실험이 끝났다고 버리지 않고 결과와 붙여 둡니다. 실험 백로그에 새 후보를 올릴 때 지난 가설들을 먼저 훑는 팀이 많습니다.

"이 가설 근거 칸이 비어 있는데요. 왜 오른다고 보는지 한 줄만 채워 주세요."

결과를 읽을 기준이 없는 상태라 실험을 아직 시작하면 안 된다는 뜻입니다.

"가설은 6퍼센트포인트였는데 실제로는 1퍼센트포인트 올랐어요. 방향은 맞았고 폭이 틀렸습니다."

바꾼 것이 효과가 있긴 했지만 예상만큼은 아니었으니, 같은 방향으로 더 크게 손댈지 다른 데로 옮길지를 정하자는 말입니다.

"그건 가설이 아니라 할 일이에요. 어떤 숫자가 왜 움직이는지가 없잖아요."

바꿀 것만 적혀 있고 지표와 근거가 없다는 지적입니다.

페이지덱에서 현우가 그로스 스프린트 첫날에 하는 일이 이 문장을 쓰는 것입니다. 지난 회차 결과를 읽고 이번에 돌릴 두세 개를 고르면, 후보마다 세 칸을 채워 한 줄로 만듭니다. 근거 칸에서 막히면 지현에게 어느 칸에서 사람들이 빠져나가는지를 묻고, 그 숫자가 없으면 그 후보는 이번 회차에서 빠집니다.

태오는 그 문장을 받아 만들 범위를 정합니다. 입력 칸을 두 개로 줄이는 것이 전부라면 디자인을 새로 하지 않고 기존 화면에서 칸만 감춥니다. 2주 뒤에 셋이 다시 모여 그 문장을 소리 내어 읽고 나온 숫자와 맞춰 봅니다.

가설이 맞아야 좋은 실험이라고 생각하는 경우가 가장 많습니다. 틀린 예상은 잘못 적은 예상처럼 보이니 그렇게 여기기 쉽습니다. 실제로는 반대에 가깝습니다. 열 번 중 여덟 번을 맞히는 팀은 이미 답을 아는 것만 고르고 있다는 뜻이라 새로 배우는 것이 거의 없습니다. 맞는 가설만 쓰려고 들면 팀은 확실한 후보만 남기게 되고, 결과가 어느 쪽으로 나올지 모르는 후보, 곧 알아낼 것이 가장 많은 후보부터 목록에서 빠집니다.

가설을 한 번 쓰고 마는 형식 문서로 다루는 것도 흔합니다. 실험을 시작하기 전에 채워야 하는 칸처럼 보이기 때문입니다. 하지만 이 문장의 값은 끝난 뒤에 다시 읽을 때 생깁니다. 결과와 나란히 두고 어디가 맞고 어디가 틀렸는지를 적어 두지 않으면, 같은 자리에 대한 같은 아이디어가 두 분기 뒤에 새것처럼 다시 올라옵니다.