실험 토글

두 안 가운데 어느 것이 나은지 회의에서 정하던 시절에는 목소리가 큰 쪽이 이겼습니다. 반년이 지나도 그 결정이 맞았는지는 알 수 없었습니다. 다른 쪽이 어땠을지를 아무도 보지 못했기 때문입니다.

순서대로 내보내는 방법으로는 이 문제가 풀리지 않습니다. 이번 주에 A안을 켜고 다음 주에 B안을 켜면 그 사이에 주말과 광고 집행과 시즌이 섞여 들어갑니다. B안의 숫자가 높아도 화면 때문인지 그 주에 들어온 사람들 때문인지 갈라지지 않습니다.

실험 토글은 코드를 배포해 둔 채 기능만 켜고 끄는 스위치를 이 비교에 쓰는 방식입니다. 시간을 나누는 대신 사람을 나눕니다.

두 안을 같은 조건에서 동시에 돌려 볼 방법이 없다는 문제를 풉니다. 들어오는 사용자를 무작위로 갈라 절반에게는 스위치가 켜진 화면을, 절반에게는 꺼진 화면을 보여 주면 같은 요일과 같은 광고와 같은 계절이 양쪽에 고르게 들어갑니다. 남는 차이는 화면 하나뿐입니다.

이 장치가 제구실을 하려면 셋을 지켜야 합니다.

1. 배정을 사용자 단위로 고정합니다. 새로고침할 때마다 화면이 바뀌면 그 사람이 어느 집단인지 정해지지 않아 결과를 쓸 수 없습니다.
2. 비율을 미리 정하고 도중에 바꾸지 않습니다. 50대 50으로 시작한 것을 사흘째 80대 20으로 바꾸면 앞뒤 데이터를 한 묶음으로 합칠 수 없습니다.
3. 끝나는 조건을 미리 적습니다. 2주를 돌리거나 한쪽에 5000명이 모이면 끝낸다는 식입니다. 숫자를 보면서 끄면 이긴 것처럼 보이는 순간을 고르게 됩니다.

끝난 뒤에는 이긴 쪽을 남기고 분기와 스위치를 코드에서 걷어냅니다. 남겨 두면 다음 실험이 그 위에 얹혀서 두 스위치가 서로의 결과를 가립니다.

두 안을 무작위로 나눠 비교하는 설계와 판정 자체는 A/B 테스트가 맡습니다. 실험 토글은 그 설계를 실제 코드에서 돌리는 장치입니다.

"이 화면은 실험 토글로 열고 2주 뒤에 결정합시다."

지금 고르지 않고 숫자를 받아 고르겠다는 제안입니다.

"배정이 새로고침마다 바뀌고 있어요. 이 데이터는 못 씁니다."

집단이 고정되지 않아 비교가 성립하지 않는다는 지적입니다.

"실험은 끝났는데 플래그가 아직 코드에 남아 있습니다."

치우는 단계를 건너뛰어 다음 작업이 복잡해진다는 뜻입니다.

페이지덱에서 태오가 문서 공유 화면 두 안을 실험 토글로 열었습니다. 2주 동안 절반은 새 화면을 받았고 공유 완료율이 새 화면에서 8퍼센트 높게 나왔습니다.

지현은 새 화면을 전원에게 열되 스위치를 지우는 작업을 태오의 다음 주 목록에 함께 넣었습니다.