실험 기록

실험을 돌리는 일 자체는 몇 달이면 익힙니다. 걸리는 곳은 그다음입니다. 화면을 바꾸고, 숫자를 확인하고, 이긴 쪽을 켜고, 바로 다음 주제로 넘어갑니다. 무엇을 왜 시도했고 어떤 숫자가 나왔는지는 담당자의 기억과 흩어진 메신저 대화에만 남습니다. 그 담당자가 다른 팀으로 옮기면 그마저 사라집니다.

그러면 같은 자리를 여러 번 파게 됩니다. 회의에서 누군가 가입 화면의 문구를 바꿔 보자고 제안하고, 참석자 대부분은 처음 듣는 이야기라고 여깁니다. 실은 여덟 달 전에 거의 같은 변경이 돌아갔고 차이가 없다는 결론까지 났습니다. 결과는 그때 채널에 올라온 그래프 이미지 한 장으로만 남아 있습니다. 아무도 그 이미지를 찾지 못하니 팀은 같은 실험에 2주를 다시 씁니다.

반대 방향의 손실도 있습니다. 한 해에 서른 번을 돌리고도 남은 것이 지금 켜진 화면뿐인 상태입니다. 켜진 화면은 무엇이 통했는지만 말해 줍니다. 실험은 대부분 지거나 차이 없음으로 끝나므로 버려진 쪽에 훨씬 많은 정보가 들어 있습니다. 기록은 이 두 손실을 함께 막으려고 만든 문서입니다. 실험의 산출물을 바뀐 화면이 아니라 문장으로 남은 결론으로 바꿉니다.

한 건에 최소 일곱 가지가 들어갑니다. 반년 뒤에 처음 읽는 사람이 그때 무슨 일이 있었는지 재구성할 수 있는 정도가 기준입니다.

1. 제목과 기간 — 무엇을 건드린 실험인지 한 줄로 적고 시작일과 종료일을 붙입니다. 나중에 검색으로 걸리는 것은 대개 이 한 줄입니다.
2. 가설 — 무엇을 바꾸면 어떤 지표가 왜 움직일 것으로 보았는지입니다. 실험 가설은 이 셋을 한 문장에 담은 것이고, 특히 근거 자리가 나중에 값을 합니다. 틀렸을 때 무엇이 틀렸는지가 거기서 나옵니다.
3. 바꾼 내용 — 무엇을 어떻게 바꿨는지를 화면 이미지와 함께 남깁니다. 반년 뒤 읽는 사람은 그 화면을 본 적이 없어 "문구를 개선했다" 같은 요약은 아무것도 전달하지 못합니다.
4. 나눈 방식과 규모 — 사용자를 어떻게 갈랐는지, 대조군과 실험군에 몇 명이 들어갔는지를 적습니다. 대조군은 아무것도 바꾸지 않고 그대로 둔 비교용 무리입니다. 시작 전에 계산한 필요 표본 수를 함께 두면 나중 사람이 충분히 모였는지 판단할 수 있습니다.
5. 결과 숫자 — 주요 지표의 양쪽 값과 차이를 적습니다. 전환율이 24.1퍼센트에서 25.3퍼센트로 움직였다면 두 값을 다 쓰고, 통계적 유의성 판단까지 붙입니다. 이 값은 그 차이를 우연으로 보기 어려운지를 가르는 기준입니다.
6. 판정 — 승리, 패배, 차이 없음 셋 중 하나로 못 박습니다. "일부 지표에서 긍정적 신호" 같은 표현은 목록을 훑을 때 아무 역할을 못 합니다.
7. 해석과 다음 행동 — 왜 그런 결과가 나왔다고 보는지, 그래서 무엇을 하기로 했는지입니다. 제일 자주 비는 칸이면서 다음 사람이 제일 먼저 읽는 칸입니다.

서른 건이 쌓이면 사람들은 문서를 다 읽지 않고 목록만 훑습니다. 그 목록에서 한눈에 걸러지려면 판정이 셋 중 하나여야 합니다.

쓰는 사람은 그 실험을 맡은 담당자이고, 쓰는 시점은 실험이 끝난 그 주입니다. 2주만 지나도 그때의 판단이 흐려집니다. 분량은 한 화면을 넘기지 않게 잡습니다. 열 장짜리 보고서를 요구하면 기록은 남지 않고, 남아도 아무도 읽지 않습니다.

읽는 사람은 셋입니다.

1. 같은 제안을 다시 들고 오는 사람. 필요한 것은 30초 안에 지난 결과에 닿는 경험입니다. 제목과 판정만 훑어 관련 건을 찾는 흐름이면 충분합니다.
2. 비슷한 실험을 새로 설계하는 사람. 지난 A/B 테스트가 몇 명을 모았고 며칠이 걸렸는지를 보면 이번 실험 기간을 훨씬 정확하게 잡습니다. A/B 테스트는 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 실험입니다.
3. 다음에 무엇을 돌릴지 정하는 사람. 실험 백로그의 순서를 다시 매길 때 지난 기록이 근거가 됩니다. 비슷한 시도가 연달아 세 번 차이 없음으로 끝났다면 그쪽 후보들의 순위를 함께 내립니다.

세 독자 모두 검색으로 들어옵니다. 실험마다 다른 문서에 흩어 두면 세 번째 독자는 영영 오지 않습니다.

"그거 작년에 돌려 봤어요. 기록 찾아서 링크 드릴게요."

제안이 새것이 아니니 토론 전에 지난 결과부터 같이 읽자는 말입니다.

"이번 건 결과가 애매하게 나왔는데, 그래도 기록은 남겨 주세요."

차이 없음도 결과이니 목록에 올려 두라는 요청입니다.

"판정만 있고 해석이 비어 있어서 왜 졌는지를 모르겠어요."

7번 칸이 비면 다음 사람이 같은 실험을 또 돌린다는 지적입니다.

페이지덱에서는 실험이 끝나는 주 금요일에 지현이 기록을 요청합니다. 캘린더에 반복 일정으로 박아 두고 그 자리에서 30분 안에 쓰는 것이 규칙입니다. 처음에는 이긴 실험만 올라왔습니다. 같은 제안이 세 번째로 올라온 회의를 겪은 뒤부터 판정 칸이 셋으로 굳었습니다.

지금은 누가 제안을 들고 오면 지현이 먼저 목록을 검색합니다. 있으면 그 기록을 함께 읽은 뒤 이번 시도가 지난번과 무엇이 다른지를 한 줄로 적게 합니다. 같은 실험을 다시 돌리는 선택이 나쁜 것은 아닙니다. 다만 그 선택이 모르고 한 것인지 알고 한 것인지는 달라집니다.

이긴 실험만 적는 것이 첫 번째 오해입니다. 기록을 분기 리뷰에 들고 갈 성과 자료로 여기면 차이 없음으로 끝난 건을 올릴 이유가 없어 보입니다. 하지만 실험의 열에 일고여덟은 지거나 차이 없음으로 끝나므로, 이긴 것만 남기면 실제로 일어난 일의 20퍼센트만 남는 셈입니다. 그렇게 만든 목록은 다음 사람이 같은 자리를 파는 것을 전혀 막지 못합니다. 막아 주는 것은 오히려 진 기록입니다.

나중에 몰아서 정리하면 된다는 생각도 자주 봅니다. 다음 실험을 띄우는 일이 급하고, 지난 건은 숫자가 대시보드에 남아 있으니 언제든 쓸 수 있을 것처럼 보입니다. 실제로는 숫자만 남고 맥락이 날아갑니다. 왜 그 가설을 골랐는지, 중간에 무엇이 어긋나 어떻게 손봤는지는 남지 않기 때문입니다. 분기 말에 몰아 쓰려고 앉으면 열두 건 중 서너 건만 제대로 복원되고, 나머지는 제목과 판정만 있는 껍데기로 남습니다.