다변량 테스트

바꿔 볼 요소가 셋이면 두 안을 비교하는 실험을 세 번 돌리는 것이 기본 순서입니다. 하나에 2주가 걸리면 여섯 주가 들고, 그 기간에 화면은 세 번 바뀝니다. 기간만 문제가 아닙니다. 요소를 하나씩 따로 재면 요소끼리 서로 영향을 주는 경우를 볼 수 없습니다.

페이지덱 가입 화면에서 그 일이 그대로 나왔습니다. 현우가 제목 문구, 버튼 문구, 설명 이미지의 유무를 각각 따로 실험했고 세 번 모두 조금씩 좋은 결과가 나왔습니다. 세 가지를 다 적용한 화면을 켠 다음 달에 전환율은 오히려 내려갔습니다. 제목과 이미지가 같은 말을 두 번 하게 되어 화면이 길어진 것이 원인이었습니다.

다변량 테스트는 그 조합을 한 번에 비교합니다. 요소를 따로 재는 대신 요소들이 함께 만드는 결과를 재기 때문에, 하나씩 좋았던 것이 합쳤을 때 나빠지는 경우가 실험 안에서 드러납니다.

바꿀 요소와 각 요소의 안을 정해 조합 수를 먼저 계산하는 데서 시작합니다. 여섯 단계로 돕니다.

1. 요소와 안을 정합니다. 요소를 둘이나 셋으로 제한하고 각 요소의 안도 둘로 둡니다. 조합 수는 안의 개수를 곱한 값이라, 요소 셋에 각 두 안이면 여덟 조합이 됩니다.
2. 조합 수만큼 표본이 나뉜다는 것을 계산에 넣습니다. 결론을 내기 위해 모아야 하는 최소 관측 수가 필요 표본 수인데, 두 안을 비교할 때 2만 명이 필요했다면 여덟 조합에서는 8만 명이 필요합니다. 이 계산을 먼저 하지 않으면 3주 뒤에 아무 결론도 없는 표를 받습니다.
3. 방문자를 조합에 치우침 없이 나눕니다. 이 절차가 무작위 배정이고, 아무것도 바꾸지 않은 원래 화면을 대조군으로 한 칸 남겨 둡니다. 원래 화면이 없으면 여덟 조합 가운데 가장 나은 것이 지금보다 나은지를 말할 수 없습니다.
4. 기간을 미리 정하고 중간에 순위를 보지 않습니다. 조합이 여덟이면 매일 어느 하나는 우연히 앞서 있고, 그것을 보고 끝내면 우연을 결론으로 채택하게 됩니다.
5. 결과를 세 방향으로 읽습니다. 조합끼리의 비교, 요소별 평균 효과, 그리고 요소가 서로에게 미친 영향입니다. 세 번째가 이 방법을 쓰는 이유이므로 그것을 빼면 실험을 여덟 갈래로 나눈 의미가 없어집니다.
6. 이긴 조합을 전체에 켜고, 읽어 낸 상호작용을 다음 실험의 가설로 남깁니다.

방문이 많은 화면에서 씁니다. 가입, 결제, 첫 화면처럼 하루에 수천 명이 지나는 자리여야 조합마다 표본이 쌓입니다. 요소들이 서로 영향을 줄 것으로 보일 때 특히 맞습니다. 제목과 이미지처럼 같은 영역을 채우는 요소, 버튼 문구와 버튼 색처럼 한 덩어리로 읽히는 요소가 그렇습니다.

맞지 않는 자리는 셋입니다.

1. 방문이 적은 화면. 조합 수만큼 표본이 나뉘므로 결론까지 걸리는 기간이 급격히 늘어납니다. 이 실험으로 잡아낼 수 있는 가장 작은 차이를 뜻하는 최소 검출 효과를 계산해 보면 필요한 기간이 반년으로 나오는 일이 흔합니다.
2. 화면을 통째로 바꾸는 변화. 구조가 다른 두 화면은 요소의 조합으로 쪼갤 수 없습니다. 이때는 두 안을 나눠 보여 주는 A/B 테스트가 맞습니다.
3. 요소가 다섯 개를 넘는 경우. 각 요소가 두 안이어도 조합이 서른두 개가 되고, 그 시점에는 표본을 모으는 일보다 조합을 만드는 일이 먼저 막힙니다.

한계도 분명합니다. 조합을 전부 실제로 만들어야 하므로 구현 비용이 조합 수에 비례합니다. 결과 해석도 어렵습니다. 어느 요소가 효과를 냈는지와 어느 조합이 가장 좋은지가 다른 답으로 나올 수 있어서, 무엇을 근거로 무엇을 켤지 미리 정해 두지 않으면 표를 놓고 다투게 됩니다. 실험 기간에 그 화면에 다른 변경을 올리지 않는 규칙도 함께 필요합니다.

"요소 셋에 각 두 안이면 조합이 여덟이에요. 표본이 네 배 필요합니다."

조합 수가 기간과 표본을 정한다는 지적입니다.

"이건 조합으로 쪼갤 수 없는 변화예요. 두 안 비교로 갑시다."

방법을 고르는 기준이 변화의 성격이라는 뜻입니다.

"제목만 놓고 보면 효과가 있는데, 이미지를 켠 조합에서는 사라져요."

요소 간 영향을 읽어 낸 말입니다.

현우가 가입 화면을 여덟 조합으로 3주 동안 돌렸습니다. 요소는 제목 문구, 버튼 문구, 설명 이미지였고 각각 두 가지였습니다. 결과에서 제목의 새 문구는 단독으로는 전환율을 올렸지만, 이미지가 함께 켜진 조합에서는 그 효과가 사라졌습니다. 가장 좋은 조합은 새 제목에 기존 버튼 문구와 이미지 없음이었습니다.

지현과 함께 이유를 찾아보니 화면 길이가 문제였습니다. 새 제목이 이미 설명을 담고 있어서 이미지가 같은 내용을 한 번 더 말했고, 그만큼 첫 화면에서 버튼이 아래로 밀려났습니다. 요소를 하나씩 재던 방식으로는 같은 결론에 닿을 수 없었습니다. 세 번의 실험이 모두 좋다고 답했을 것이기 때문입니다.

두 안을 비교하는 실험보다 나은 방법이라고 읽는 경우가 가장 많습니다. 한 번에 여러 가지를 알아내니 효율적으로 보입니다. 그런데 두 방법은 트래픽 조건이 다릅니다. 하루 방문이 수백 명인 화면에서 조합을 여덟으로 나누면 어느 조합도 결론에 닿지 못하고 3주가 사라집니다. 방문 수를 먼저 확인하고 고르는 것이 순서이고, 대부분의 팀에서는 두 안 비교가 기본이고 이쪽이 예외입니다.

요소를 많이 넣을수록 많이 배운다고 읽는 것도 흔합니다. 요소 하나를 더 넣는 데 드는 추가 작업이 작아 보이기 때문입니다. 하지만 요소 하나가 늘면 조합은 두 배가 되고 각 조합의 표본은 절반이 됩니다. 요소 다섯 개를 넣은 실험은 대개 서른두 개의 조합이 모두 확실하지 않다는 결과로 끝납니다. 알아낼 것을 줄이는 대신 확실하게 알아내는 쪽이 이 방법을 쓰는 방식입니다.