신기 효과

화면을 바꾸고 나서 숫자가 뛰었다가 몇 주 뒤에 제자리로 내려오는 일은 오래전부터 있었습니다. 다만 그 오르내림을 뭐라고 불러야 할지 몰라서, 대개는 "처음엔 잘됐는데 식었다" 로 정리하고 원인을 다른 데서 찾았습니다. 계절 탓을 하거나, 광고를 줄인 탓을 하거나, 운영이 느슨해졌다고 말했습니다.

A/B 테스트가 흔해지면서 이 착시가 더 자주, 더 비싸게 나타났습니다. A/B 테스트는 두 안을 무작위로 나눠 보여 주고 결과를 견주는 실험인데, 나눠서 견주기 때문에 며칠 만에도 승패를 말할 수 있는 것처럼 보입니다. 그 며칠이 하필 착시가 가장 큰 구간입니다.

페이지덱에서도 같은 일이 있었습니다. 민서가 사이드바를 새로 짜서 실험을 돌렸더니 사흘 만에 문서 생성이 14퍼센트 늘었고, 팀은 그 자리에서 전체 배포를 정했습니다. 한 달 뒤 문서 생성 수는 바꾸기 전과 같았습니다. 태오가 로그를 뜯어 보니 첫 주에 늘어난 분량의 대부분이 기존 사용자가 달라진 메뉴를 한 번씩 눌러 본 흔적이었습니다. 신기 효과는 이 며칠짜리 들뜸을 따로 떼어 부르려고 생긴 말입니다.

이미 제품을 쓰던 사람이 달라진 것을 알아차리고 한 번 눌러 보는 행동이 실험 앞쪽에 몰리면서 생깁니다. 새 기능이 좋아서 쓰는 게 아니라 무엇이 바뀌었는지 확인하려고 들어가는 것이라, 이 행동은 확인이 끝나면 멈춥니다.

그래서 처음 쓰는 사람에게는 거의 나타나지 않습니다. 이 사람에게는 새 화면이 그냥 원래 화면이고, 견줄 예전 모습이 없습니다. 신기 효과가 기존 사용자 집단에서만 나타난다는 점이 나중에 판별의 단서가 됩니다.

숫자로 보면 시간이 지나며 깎여 나가는 모양입니다. 1일차에 20퍼센트 높던 것이 3일차에 12퍼센트, 1주차에 4퍼센트, 2주차에 0퍼센트가 되는 식입니다. 기간 전체를 뭉뚱그려 평균 내면 이 앞쪽 봉우리가 그대로 섞여 들어가, 2주를 돌려도 결과가 부풀어 보입니다.

반대 방향으로 기우는 경우도 있습니다. 오래 쓰던 사람이 익숙한 자리가 바뀌면 처음 며칠은 오히려 헤매서 지표가 내려갑니다. 그러다 손에 익으면 회복합니다. 이쪽도 같은 성질이라, 초기 며칠의 결과는 위로든 아래로든 믿기 어렵습니다.

걷어내는 방법은 셋입니다.

1. 처음 쓰는 사람만 떼어 봅니다. 이 집단에 차이가 없으면 앞서 본 상승은 확인 클릭이었을 가능성이 큽니다.
2. 기간을 주 단위로 쪼개 봅니다. 1주차 14퍼센트, 3주차 2퍼센트라면 남은 2퍼센트가 실제 효과에 가깝습니다.
3. 초기 며칠을 판정에서 제외합니다. 대신 제외할 기간을 실험을 시작하기 전에 정해 둡니다. 결과를 보고 나서 정하면 유리한 구간을 고르게 됩니다.

셋 가운데 첫째와 둘째를 함께 쓰면 가장 깔끔합니다. 처음 쓰는 사람의 수치는 들뜸이 섞이지 않은 기준선이 되고, 주차별 수치는 기존 사용자 쪽에서 들뜸이 얼마나 빠져나갔는지를 보여 줍니다. 두 값이 비슷한 자리로 수렴하면 그 값을 실제 효과로 봅니다.

실험을 언제 끝낼지 정하는 자리에서 가장 먼저 나옵니다. 화면을 건드리는 실험은 최소 2주, 주 단위로 끊어 돌리는 것이 기본인데 그 근거가 이 현상입니다. 요일마다 사용 습관이 다르기 때문에 기간은 7의 배수로 잡습니다. 그 밖에 세 자리에서 쓰입니다.

1. 결과를 판정하는 자리입니다. 대조군과의 차이를 하나의 평균으로 보지 않고 주차별로 늘어놓습니다. 대조군은 아무것도 바꾸지 않고 그대로 둔 비교용 무리입니다. 차이가 주마다 줄어드는 모양이면 승리 선언을 미룹니다.
2. 새 기능을 내보낸 뒤 지표를 읽는 자리입니다. 출시 직후 한 주의 사용량은 거의 언제나 높습니다. 리텐션, 그러니까 쓰던 사람이 계속 돌아오는 정도를 함께 보면 들뜸이 가라앉은 뒤에도 남는 사용이 있는지 알 수 있습니다.
3. 실험 기록을 남기는 자리입니다. 승패만 적지 않고 주차별 수치를 같이 적어 둡니다. 반년 뒤에 같은 자리를 다시 건드리는 사람이 첫 주 숫자만 보고 같은 결론을 반복하지 않게 하기 위해서입니다.

"사흘치로는 판단 못 해요. 신기 효과일 수 있으니 최소 2주는 돌립시다."

지금 보이는 차이가 진짜인지 아직 모른다는 뜻이고, 기간을 늘리자는 요구입니다.

"신규 사용자만 떼어 보면 차이가 거의 없어요. 기존 사용자 쪽 신기 효과였던 것 같습니다."

상승분이 새로움에 대한 반응이었다는 판정입니다.

"1주차엔 14퍼센트였는데 3주차엔 2퍼센트예요. 신기 효과가 빠진 값이 2퍼센트입니다."

부풀었던 부분을 걷어낸 뒤 남는 실제 효과를 가리키는 말입니다.

페이지덱에서는 사이드바 일 이후로 이 검사가 절차에 들어갔습니다. 지현은 화면을 건드리는 실험은 2주 전에 판정하지 않기로 정했고, 태오는 결과 화면에 주차별 차이를 나란히 보여 주는 칸을 붙였습니다. 민서가 다음 개편을 실험했을 때는 1주차 9퍼센트가 3주차에 6퍼센트로 내려앉았고, 팀은 6퍼센트를 근거로 배포를 결정했습니다.

숫자가 내려앉았다고 실망하는 자리는 아닙니다. 판정 기준이 첫 주에서 셋째 주로 옮겨 갔을 뿐이고, 그 대신 배포한 뒤에 숫자가 무너지는 일이 사라졌습니다.

신기 효과가 보이면 그 변경은 쓸모없었다고 결론 내는 경우가 많습니다. 상승분이 착시였다는 말을 전부가 착시였다는 말로 받아들이기 때문입니다. 그런데 이 현상은 실제 효과를 지우는 게 아니라 그 위에 얹힙니다. 1주차 14퍼센트 가운데 12퍼센트가 확인 클릭이었어도 남은 2퍼센트는 남은 것입니다. 얹힌 부분을 걷어내면 얼마가 남는지가 판정할 값이고, 통째로 버리면 작지만 쌓이는 개선을 계속 놓칩니다.

기간만 늘리면 저절로 해결된다고 보는 것도 흔합니다. 2주를 돌렸다는 말이 안전하다는 말처럼 쓰이기 때문입니다. 하지만 2주치를 하나의 평균으로 내면 첫 사흘의 봉우리가 그 평균에 그대로 들어갑니다. 기간을 늘리는 것은 걷어낼 재료를 마련하는 일이고, 걷어내는 것은 주차별로 나눠 보는 사람이 합니다. 이 단계를 건너뛰면 2주짜리 실험에서도 1주짜리와 같은 결론이 나옵니다.