클로즈드 베타

만들던 기능을 언제 열지를 두고 팀은 늘 양쪽에 끼여 있었습니다. 다 만들 때까지 닫아 두면 처음 쓰는 사람이 어디서 멈추는지를 출시 당일에야 알게 되고, 완성 전에 그냥 열면 준비되지 않은 화면을 모든 고객이 봅니다. 알파, 그러니까 회사 안 사람만 써 보는 단계까지는 안전하지만 거기서 나오는 의견은 만든 사람들의 의견입니다.

실제로 벌어지는 일은 이런 모양이었습니다. 페이지덱 개발팀이 두 달을 들여 문서 권한 기능을 만들고 전체 고객에게 열었더니, 첫날 문의가 쏟아졌습니다. 만든 사람들에게는 당연했던 권한 이름이 처음 보는 사람에게는 무슨 뜻인지 알 수 없는 말이었던 겁니다. 수아는 고객사 스무 곳에 사과 메일을 돌렸고, 화면을 고치는 데 다시 3주가 들었습니다.

클로즈드 베타는 이 둘 사이에 칸 하나를 만든 것입니다. 바깥 사람에게 열되 누가 들어올지는 회사가 정합니다. 그러면 만든 사람이 아닌 눈이 붙는 동시에, 무엇이 잘못되더라도 사과할 상대가 스무 곳이 아니라 다섯 곳으로 줄어듭니다.

들어오는 사람을 회사가 고른다는 점이 이 구간의 모든 성격을 결정합니다. 보통은 초대 코드를 보내거나 계정 목록을 미리 등록해 두는 방식으로 문을 잠급니다. 규모는 개인 사용자 대상이면 수백 명, 기업 고객 대상이면 다섯에서 스무 곳쯤이 흔합니다. 한두 곳만 넣지 않는 이유는 그 회사의 사정이 제품 전체의 문제처럼 보이기 때문이고, 마흔 곳을 넣지 않는 이유는 들어온 의견을 한 주 안에 다 읽지 못해 대상을 고른 의미가 사라지기 때문입니다.

고를 수 있으니 무엇을 확인할지에 맞춰 대상을 짤 수 있습니다. 권한 기능을 검증하려면 팀 규모가 큰 고객사를 넣어야 하고, 처음 쓰는 사람이 헤매는 지점을 보려면 제품에 익숙한 오래된 고객만 넣으면 안 됩니다. 이 선택을 대충 하면 베타를 무사히 마치고도 정식 출시에서 같은 문의가 터집니다.

숫자보다 말이 많이 나오는 구간이기도 합니다. 서른 명이 쓰는 기능의 전환율은 통계로 쓸 수 없고, 그 대신 한 사람이 어디서 멈췄는지를 직접 물어볼 수 있습니다. 그래서 이 구간에는 따로 통로를 엽니다. 참여자만 들어오는 채팅방을 만들거나 화면 안에 의견 보내기 버튼을 달아 두고, 보통 매주 한 번 들어온 내용을 모아 우선순위를 정합니다.

약속의 수준도 정식 출시와 다릅니다. 장애가 나도 배상하지 않는다는 조건을 미리 알리고 시작하며, 데이터가 초기화될 수 있다고 못 박는 경우도 있습니다. 요금은 대개 받지 않습니다. 돈을 받는 순간 시험이 아니라 서비스가 되기 때문입니다.

기간은 보통 2주에서 두 달 사이입니다. 짧으면 처음 써 보는 인상만 모이고 반복해서 쓸 때 걸리는 것이 안 나오며, 길게 끌면 참여자가 먼저 지쳐 답을 주지 않게 됩니다. 페이지덱은 3주를 기본으로 두고 첫 주에 한 번, 마지막 주에 한 번 참여자와 직접 이야기합니다.

다음 칸으로 넘어가는 기준은 기능이 완성됐는지가 아니라 문을 더 넓혀도 감당할 수 있는지입니다. 대개 아래 넷을 확인합니다.

1. 치명적인 문제가 남아 있지 않습니다. 데이터가 사라지거나 다른 사람 문서가 보이는 종류의 문제는 하나라도 남으면 넘어가지 않습니다.
2. 설명 없이 혼자 쓸 수 있습니다. 베타 참여자에게는 사람이 붙어 안내했더라도, 다음 칸에서는 아무도 안내하지 않습니다. 처음 들어온 사람이 도움말 없이 첫 작업을 끝내는지를 봅니다.
3. 문의량이 예측됩니다. 서른 명에게서 하루 두 건이 들어왔다면 3천 명에게 열었을 때 어느 정도가 될지 가늠하고, 그 양을 지금 인원으로 받을 수 있는지 수아 쪽과 맞춰 둡니다.
4. 되돌릴 방법이 있습니다. 문제가 생겼을 때 기능만 다시 끄고 이전 상태로 돌아갈 수 있는지를 태오가 확인합니다.

넘어가는 방향은 둘입니다. 문을 그대로 활짝 열면 오픈 베타가 되고, 딱지까지 떼면 정식 출시입니다. 사이를 한 칸 더 두고 돈 내는 고객 일부에게 먼저 여는 얼리 액세스로 가기도 합니다. 반대 방향도 있습니다. 베타에서 전제가 틀렸다는 것이 드러나면 기능을 닫고 알파로 돌아갑니다. 이 칸을 두는 이유가 그 판단을 싸게 내리려는 것이라, 되돌아가는 것은 실패가 아니라 이 구간이 제 역할을 한 결과입니다.

"이번 권한 기능은 클로즈드 베타로 먼저 열고 3주 뒤에 판단하시죠."

전체 공개 전에 대상을 좁혀 열어 두고 결정을 미루자는 제안입니다.

"클로즈드 베타 대상에 대형 고객사 두 곳은 꼭 넣어 주세요."

확인하려는 상황이 그 고객사에서만 나오니 명단에 포함시키자는 요청입니다.

"아직 베타라서 이 화면은 바뀔 수 있다고 미리 말씀드렸습니다."

지금 보이는 것이 확정이 아니라는 양해를 미리 받아 뒀다는 뜻입니다.

페이지덱이 앞의 권한 기능을 다시 만들 때는 순서를 바꿨습니다. 지현이 고객사 다섯 곳을 골라 초대장을 보냈고, 수아가 각 담당자와 시작 전에 30분씩 통화해 지금 권한을 어떻게 쓰고 있는지를 먼저 들었습니다. 열고 나서는 참여자만 들어오는 채팅방에 태오와 민서가 함께 들어가 질문에 직접 답했습니다.

3주 동안 모인 의견 중 절반이 권한 이름에 몰렸습니다. 민서가 이름을 바꾸고 화면에 설명 한 줄을 붙인 뒤에야 문을 넓혔고, 이번에는 첫날 문의가 세 건이었습니다.

클로즈드 베타를 품질 검증 단계로 여기는 경우가 가장 많습니다. 버그가 나오는 자리이니 그렇게 읽히지만, 버그를 찾는 일은 이 칸에 오기 전에 끝나 있어야 합니다. 여기서 확인하는 것은 만든 것이 도는지가 아니라 밖에 있는 사람이 이것을 필요한 방식으로 쓰는지입니다. 이 구분을 놓치면 베타를 버그 목록만 들고 끝내게 되고, 정작 아무도 그 기능을 안 쓴다는 사실은 정식 출시 뒤에 알게 됩니다.

베타라는 딱지가 모든 것을 양해받는다고 읽는 오해도 흔합니다. 미완성이라고 밝혔으니 무엇이 나와도 괜찮다는 계산입니다. 실제로 사용자가 넘어가 주는 것은 기능이 덜 채워져 있거나 화면이 거칠다는 정도이고, 넣어 둔 문서가 사라지거나 다른 팀 자료가 보이는 일은 베타에서도 그대로 사고입니다. 이런 일이 한 번 나면 참여자는 의견을 주는 대신 제품을 떠나고, 남은 기간의 베타는 사람 없이 굴러갑니다.