실험 성공률

실험을 제도로 만든 팀이 처음 맞는 문제는 보고의 단위입니다. 분기 회의에서 내놓을 수 있는 숫자가 대개 개수뿐이었습니다. 이번 분기에 실험 40개를 돌렸다는 문장입니다. 일을 많이 했다는 것은 전해지는데 무엇이 나아졌는지는 전해지지 않습니다.

페이지덱에서 이 장면이 실제로 있었습니다. 현우가 40개를 돌렸다고 보고했을 때 규원이 "그중 몇 개가 이겼어요" 하고 물었고, 세어 본 적이 없다는 답이 돌아왔습니다. 실험 하나하나의 결과는 문서에 남아 있었지만 묶음으로 본 적이 없었던 것입니다. 세어 보니 지표를 올린 것이 9개였습니다.

이 숫자가 필요한 이유는 개수만으로 두 상태가 구별되지 않기 때문입니다. 40개를 돌려 9개가 이긴 팀과 2개가 이긴 팀은 같은 양의 일을 했지만 무엇을 시험할지 고르는 눈이 다릅니다. 뒤쪽은 실험을 더 많이 돌리는 것보다 고르는 방식을 먼저 손봐야 하는 상태입니다.

끝난 실험 수로 이긴 실험 수를 나눕니다. 세 단계로 적으면 이렇습니다.

1. 세는 대상을 정합니다. 기간 안에 종료된 실험만 넣습니다. 아직 돌고 있는 실험을 넣으면 결론이 좋은 쪽만 먼저 끝나 비율이 부풀어 오릅니다.
2. 성공의 기준을 실험을 시작하기 전에 적어 둡니다. 어떤 지표가 얼마나 오르면 이긴 것으로 볼지, 그리고 그 차이를 우연으로 보기 어렵다고 판단할 선을 미리 정합니다. 뒤쪽 선을 다루는 말이 통계적 유의성이고, 그 판단을 하려면 필요 표본 수, 즉 결론을 내기 위해 모아야 하는 최소 관측 수가 채워져 있어야 합니다.
3. 나눕니다. 종료된 40개 중 9개가 기준을 넘었으면 22.5퍼센트입니다.

2번이 가장 어렵습니다. 결과를 본 뒤에 기준을 정하면 어떤 실험이든 이긴 것으로 만들 수 있습니다. 클릭률은 안 올랐지만 체류 시간이 올랐다거나, 전체로는 차이가 없었지만 신규만 보면 올랐다는 식입니다. 그래서 무엇을 시험하고 무엇을 성공으로 볼지 적은 가설을 시작 전에 기록해 두고, 성공률은 그 기록만 보고 셉니다.

끝난 실험은 세 갈래로 갈립니다. 이긴 것, 진 것, 판정할 수 없는 것입니다. 마지막은 표본이 모자라 차이가 있는지 없는지 말할 수 없는 경우입니다. 이것을 분모에 넣을지가 팀마다 갈리는데, 넣는 쪽이 맞습니다. 표본이 모일 수 없는 자리에 실험을 설계한 것도 고를 때의 판단이고, 빼 버리면 그 실수가 숫자에서 사라집니다. 페이지덱의 40개는 이긴 것 9개, 진 것 19개, 판정 불가 12개였습니다. 판정 불가를 빼면 성공률이 32퍼센트로 올라가지만, 실제로 얻은 것은 9개분입니다.

업계에서 자주 이야기되는 구간은 10퍼센트에서 30퍼센트 사이입니다. 열 번 중 한두 번 이기는 것이 정상이라는 뜻입니다. 이 값이 낮게 들린다면 실험이 무엇인지를 다시 볼 필요가 있습니다. 결과를 아는 변경은 실험이 아니라 그냥 개선이고, 결과를 모르는 것을 시험하니 대부분 틀립니다.

그래서 높은 값이 좋은 값은 아닙니다. 성공률이 80퍼센트인 팀은 눈이 좋은 팀이 아니라 이길 것이 뻔한 것만 시험하는 팀입니다. 버튼 문구를 바꾸는 실험 스무 개는 대부분 이기고 지표는 거의 움직이지 않습니다. 반대로 20퍼센트짜리 팀이 이긴 실험 하나로 가입 전환을 24퍼센트에서 41퍼센트로 올릴 수 있습니다.

그래서 이 값은 혼자 쓰이지 않습니다. 같은 기간에 돌린 실험 개수와 곱해야 그 분기에 얻은 성공 실험 수가 나옵니다. 성공률 22.5퍼센트에 40개면 9개이고, 40퍼센트에 10개면 4개입니다. 앞쪽 팀이 더 많이 얻었습니다. 여기에 이긴 실험 하나가 지표를 얼마나 올렸는지를 더해 봐야 판단이 끝납니다.

시간에 따라 움직이는 방향도 알아 둘 만합니다. 실험을 막 시작한 팀은 값이 낮습니다. 무엇을 시험해야 하는지 모르는 상태이기 때문입니다. 어디가 막혀 있는지를 퍼널 이탈 구간으로 찾아 겨냥하기 시작하면 값이 올라갑니다. 그리고 한동안 지나면 다시 내려갑니다. 쉽게 이기는 자리를 다 쓴 뒤라서 그렇고, 이 하락은 나빠진 신호가 아닙니다.

"이번 분기 실험 성공률이 22.5퍼센트입니다. 40개 중 9개가 이겼어요."

돌린 양과 얻은 양을 한 줄로 같이 보고하는 형태입니다.

"성공률을 목표로 걸지 마세요. 그러면 이길 것만 시험합니다."

이 값을 올리는 가장 쉬운 방법이 실험의 폭을 줄이는 것이라는 경고입니다.

"판정 불가 12개를 분모에서 빼면 안 됩니다. 표본 설계도 실력이에요."

성공률을 유리하게 만드는 계산을 막는 말입니다.

페이지덱의 지난 세 분기 값은 11퍼센트, 22.5퍼센트, 16퍼센트였습니다. 가운데가 높은 것은 이탈이 큰 구간만 겨냥했기 때문이고, 세 번째에 내려간 것은 그 자리에서 쉽게 이길 것을 다 쓴 뒤 처음 보는 자리로 옮겼기 때문입니다.

지현은 세 번째 분기 회의에서 이 하락을 문제로 올리지 않았습니다. 대신 이긴 실험이 올린 지표의 합을 같이 놓았습니다. 16퍼센트였던 분기에 올린 가입 전환이 22.5퍼센트였던 분기보다 컸습니다. 이긴 개수는 적고 하나하나가 컸던 것입니다.

이 값을 올릴 목표로 삼는 경우가 가장 많습니다. 비율로 적힌 숫자는 목표로 걸기 쉬워 보이기 때문입니다. 하지만 올리는 가장 빠른 방법은 이길 것이 뻔한 실험만 고르는 것입니다. 목표를 받은 팀은 버튼 색과 문구처럼 결과가 거의 정해진 변경으로 목록을 채우고, 반년 뒤에는 성공률이 45퍼센트인데 지표는 제자리인 상태가 됩니다. 이 값은 재는 도구이고 올릴 대상은 지표 쪽입니다.

진 실험을 낭비로 읽는 것도 오해입니다. 쓴 시간에 비해 남은 것이 없어 보이니 그렇습니다. 실제로 진 실험은 그 방향이 아니라는 정보를 남깁니다. 가입 화면에 후기를 넣어 보고 차이가 없었다면 같은 자리를 후기로 다시 건드릴 이유가 사라집니다. 기록이 없으면 반년 뒤 다른 담당자가 같은 실험을 다시 돌립니다. 그래서 진 실험도 근거를 남기고, 그것을 세는 자리가 이 지표의 분모입니다.