오픈 베타

만들던 것을 다 끝내기 전에 밖으로 내보내는 일은 오래 꺼려졌습니다. 덜 된 물건을 보여 주면 평판이 깎인다고 봤고, 그래서 초대한 사람만 들여 시험하는 클로즈드 베타까지만 하고 나머지는 완성한 뒤에 열었습니다.

그 방식으로는 보이지 않는 것이 있었습니다. 페이지덱이 문서 댓글 기능을 40명에게 3주 동안 열어 두었을 때 신고는 두 건뿐이었습니다. 그런데 전체 공개 첫날 수천 명이 한꺼번에 들어오자 알림이 몇 시간씩 밀리고, 큰 문서에서는 다른 사람의 댓글이 엉뚱한 줄에 붙었습니다. 40명 규모에서는 나올 수 없는 문제였습니다. 쓰는 방식도 예상과 달랐습니다. 팀들은 댓글을 의견 남기는 자리가 아니라 할 일을 나누는 자리로 쓰고 있었습니다.

그렇다고 다 고친 뒤에 열면 그 사실을 아는 시점이 또 뒤로 밀립니다. 문은 전부 열어 사람과 부하를 실제로 받되, 아직 완성 전이라는 사실을 화면에 붙여 두고 그만큼의 양해를 미리 받는 방식이 그래서 자리 잡았습니다.

문은 누구에게나 열려 있고, 그 대신 완성 전임을 알리는 표시가 화면에 붙어 있는 구간입니다. 초대 코드도 대기 명단도 없이 가입하면 바로 쓸 수 있는데, 제품 이름 옆이나 기능 옆에 베타라는 말이 적혀 있습니다. 문의 폭만 보면 정식 출시와 같고, 약속의 크기만 다릅니다.

실무에서 이 구간은 네 가지 모습으로 나타납니다.

1. 사람 수가 자릿수 단위로 뜁니다. 초대로 관리하던 수십 명이 수천 명이 되면서 응답 시간과 오류가 처음으로 실제 규모에서 드러납니다. 이 구간의 가장 큰 목적이 그 확인입니다.
2. 지원과 보상의 수준이 정식과 다릅니다. 장애가 나도 24시간 안에 답한다는 약속을 걸지 않고, 데이터가 잘못되면 되돌려 주겠다는 보장도 하지 않습니다. 대신 그 사실을 미리 적어 둡니다.
3. 화면과 기능이 계속 바뀝니다. 들어온 사람들이 쓰는 모양을 보고 버튼 위치나 기본값을 주 단위로 고칩니다. 바뀐 내용은 릴리스 노트로 알립니다.
4. 되돌릴 준비를 깔아 둡니다. 코드를 올려 둔 채 기능만 켜고 끄는 스위치인 피처 플래그로 열어 두면, 문제가 나왔을 때 배포를 되돌리지 않고 기능만 다시 닫을 수 있습니다. 그보다 큰 문제는 이전 버전으로 돌아가는 롤백으로 처리합니다.

베타라는 다섯 글자가 실제로 하는 일은 사용자의 기대치를 미리 낮추는 것입니다. 같은 오류를 만나도 베타라고 적힌 화면에서는 신고하고 넘어가지만, 정식이라고 적힌 화면에서는 환불을 요구합니다. 그래서 이 표시는 예의로 붙이는 문구가 아니라 위험을 나눠 지는 장치에 가깝습니다.

정식 출시로 넘어가는 기준은 기능이 다 됐는지가 아니라 표시를 뗀 뒤에 생기는 약속을 감당할 수 있는지입니다. 페이지덱은 네 가지를 봅니다.

1. 숫자가 일정 기간 안정적인지. 오류율과 응답 시간이 목표 아래로 내려온 상태가 2주 이상 유지돼야 합니다. 하루만 좋았던 날은 세지 않습니다.
2. 치명적인 문제 목록이 비었는지. 데이터가 사라지거나 다른 팀의 문서가 보이는 종류의 문제는 하나라도 남아 있으면 넘어가지 않습니다. 불편한 정도의 문제는 남겨 두고 갑니다.
3. 쓰는 사람이 남는지. 새로 들어온 팀 중 2주 뒤에도 쓰는 비율이 기준을 넘고, 추천 의향을 물어 계산하는 순추천지수 같은 만족도 지표가 떨어지지 않아야 합니다.
4. 받을 준비가 됐는지. 문의를 받는 창구, 요금과 환불 규칙, 장애가 났을 때 누가 몇 분 안에 움직이는지가 정해져 있어야 합니다. 이쪽이 안 되어 있으면 기술이 멀쩡해도 넘어가지 않습니다.

이 구간에 머무는 기간에는 정해진 규칙이 없습니다. 짧으면 4주, 결제나 권한처럼 틀렸을 때 되돌리기 어려운 기능은 반년을 머물기도 합니다. 길이를 정하는 잣대는 완성도가 아니라 잘못됐을 때 생기는 손해의 크기입니다.

넘어가는 방향만 있는 것도 아닙니다. 문제가 크게 나오면 다시 초대받은 사람만 쓰도록 문을 좁히거나, 기능을 끄고 처음으로 돌아갑니다. 되돌린 사실을 숨기지 않고 알리면 남은 사용자는 대개 기다려 줍니다.

"다음 주에 오픈 베타로 엽니다. 대기 명단은 그때 다 풀어요."

초대 제한을 없애고 누구나 쓸 수 있게 바꾸겠다는 말입니다.

"아직 오픈 베타라 SLA는 못 드립니다. 정식 출시 뒤에 넣을 수 있습니다."

지금은 서비스 수준을 계약으로 약속하지 않는 구간이라는 뜻입니다.

"오픈 베타 2주 지표 보고 정식 전환 정하겠습니다."

숫자가 기준을 넘는지 확인한 다음에 표시를 뗄지 결정하겠다는 말입니다.

페이지덱에서는 지현이 여는 날짜를 정하고 태오가 사람 수가 몇 배까지 늘어도 버티는지 미리 확인합니다. 열린 뒤 첫 이틀은 오류와 응답 시간을 붙어서 지켜보고, 이상하면 그 자리에서 기능을 다시 닫습니다. 현우는 이 구간에 광고를 크게 붙이지 않습니다. 아직 바뀌는 화면으로 사람을 대량으로 데려오면 첫인상이 그 상태로 굳기 때문입니다. 수아는 기업 고객에게 이 기능을 팔지 않고 보여 주기만 합니다.

베타라고 적어 두면 문제에 대한 책임이 없어진다고 읽는 경우가 많습니다. 미완성이라고 밝혔으니 그렇게 보이기 쉽습니다. 하지만 표시가 낮춰 주는 것은 기대치일 뿐이고, 데이터가 사라지거나 다른 사람의 문서가 보이는 종류의 사고에서는 아무것도 면제되지 않습니다. 그 선을 넘은 문제가 한 번 나오면 사용자는 돌아오지 않고, 베타라고 적어 뒀다는 설명이 오히려 준비 없이 열었다는 증거로 읽힙니다.

무료 구간이라는 뜻으로 읽는 것도 흔합니다. 베타 기간에 돈을 안 받는 제품이 많아서 두 말이 붙어 다니지만, 요금은 이 구간과 따로 정하는 항목입니다. 베타 기간에 정가를 받는 제품도 있고, 정식 출시 뒤에도 무료 플랜을 유지하는 제품도 있습니다. 둘을 묶어 이해하면 정식 전환 시점에 요금을 새로 만들어야 한다고 착각하게 됩니다.