검증된 학습

만든 것으로 진척을 재는 방식은 오래 자연스러웠습니다. 이번 분기에 기능 일곱 개를 냈고 전부 일정대로 나갔다면 잘한 분기입니다.

페이지덱의 한 분기가 정확히 그랬습니다. 일곱 개가 모두 나갔고 지연된 것도 없었습니다. 그런데 무료에서 유료로 넘어가는 비율은 분기 시작과 끝이 같았습니다. 회고에서 지현이 물은 것은 무엇을 못 했는지가 아니라 이번 분기에 무엇을 알게 됐는지였고, 그 질문에 아무도 답하지 못했습니다.

일곱 개를 만들면서 배운 것이 없지는 않았습니다. 다만 배움이 사람들 머릿속에 인상으로만 남아 있었습니다. 누군가는 템플릿이 먹힌다고 느꼈고 누군가는 아니라고 느꼈는데, 둘 중 어느 쪽이 맞는지 가릴 근거가 없었습니다. 그래서 다음 분기 계획도 같은 방식으로 세워졌습니다.

검증된 학습은 진척의 단위를 산출물에서 배움으로 옮기되, 그 배움이 느낌이 아니라 확인된 것이어야 한다는 조건을 붙인 개념입니다. 기능을 몇 개 냈는지가 아니라 가설 몇 개를 판정했는지로 분기를 재는 것입니다.

배움으로 인정되려면 세 조건을 채워야 합니다. 시작하기 전에 적어 둔 가설이 있어야 하고, 실제 사용자 행동에서 나온 데이터가 있어야 하고, 그 결론으로 다음 결정이 달라질 수 있어야 합니다. 셋 중 하나만 빠져도 배움이 아니라 해석이 됩니다.

절차는 다섯 단계입니다.

1. 가설을 반증 가능한 문장으로 적습니다. 가설은 참인지 거짓인지 확인할 수 있게 적은 추측입니다. "템플릿이 도움이 될 것이다" 는 확인할 수 없고, "무료 팀 관리자 중 30퍼센트 이상이 가입 첫 주에 템플릿을 한 번 이상 쓴다" 는 확인할 수 있습니다.
2. 판정 기준과 기간을 미리 적습니다. 이 순서가 어긋나면 결과를 보고 기준을 맞추게 됩니다. 22퍼센트가 나온 뒤에 20퍼센트를 기준으로 삼으면 모든 실험이 성공합니다.
3. 가장 싸게 확인할 방법을 고릅니다. 기능을 다 만들지 않아도 확인되는 경우가 많습니다. MVP를 내보내거나, A/B 테스트로 두 안을 나눠 보여 주거나, 고객 인터뷰로 먼저 듣습니다.
4. 재고 판정합니다. 결과는 셋 중 하나입니다. 맞음, 틀림, 판정 불가입니다. 판정 불가가 나오면 표본이 적었거나 기준이 모호했던 것이고, 이때 억지로 결론을 붙이지 않습니다.
5. 결론을 문장으로 남깁니다. 다음 결정에 쓸 수 있는 형태여야 합니다. "템플릿 사용률 낮음" 이 아니라 "가입 첫 주 템플릿 사용률 9퍼센트, 쓴 팀의 유료 전환율은 안 쓴 팀의 2.4배" 입니다.

틀린 가설도 학습입니다. 오히려 값이 큰 경우가 많습니다. 30퍼센트를 기대했는데 9퍼센트가 나왔다면, 템플릿을 더 만드는 데 쓸 뻔한 분기가 살아난 것입니다. 실험이 성공해야 학습이 되는 것이 아니라 판정이 나야 학습이 됩니다.

불확실성이 큰 자리에 맞습니다. 누가 쓸지 모르는 새 제품, 들어가 본 적 없는 시장, 큰 투자를 결정하기 전이 여기 해당합니다. 피벗을 결정할 때의 근거도 이것입니다. 피벗은 배운 것을 근거로 방향을 트는 결정인데, 판정된 가설이 없으면 방향을 트는 일이 그냥 말 바꾸기가 됩니다.

안 맞는 자리도 있습니다.

1. 이미 확인된 것을 만드는 단계 — 기업 고객이 계약서에 적어 요구한 기능은 검증할 가설이 아니라 해야 할 일입니다.
2. 규제나 법으로 정해진 작업 — 할지 말지를 데이터로 정하지 않습니다.
3. 판정에 필요한 사용자가 없는 단계 — 하루 방문이 서른 명이면 전환율 차이를 가릴 표본이 모이지 않습니다. 이때는 숫자 대신 인터뷰 쪽으로 갑니다.

운영에 넣는 방법은 분기 목표의 형태를 바꾸는 것입니다. 기능 목록 대신 판정할 가설 목록을 적습니다. 다섯 개를 적고 분기 끝에 몇 개가 판정됐는지를 봅니다. 이때 허무 지표를 판정 기준으로 쓰지 않도록 조심합니다. 허무 지표는 보기에는 좋지만 의사결정에 쓸모없는 지표인데, 누적 가입자 수처럼 늘기만 하는 값을 기준에 넣으면 어떤 가설도 틀리지 않습니다.

"이번 분기 목표를 기능 다섯 개가 아니라 가설 다섯 개로 적어 봤어요."

진척의 단위를 산출물에서 판정으로 옮기자는 제안입니다.

"기준을 먼저 정하고 시작하죠. 결과 보고 정하면 다 성공으로 나와요."

사후에 기준을 맞추는 일을 막자는 말입니다.

"9퍼센트 나온 건 실패가 아니라 배운 겁니다. 템플릿에 한 분기 더 쓸 뻔했어요."

틀린 가설도 값이 있다는 뜻입니다.

페이지덱은 이 방식을 한 분기 돌려 보고 형태를 고쳤습니다. 처음에 지현이 가설 여덟 개를 적었는데 분기 끝에 판정된 것은 둘이었습니다. 나머지 여섯은 실험을 설계하는 데까지 가지 못했습니다.

그래서 수를 셋으로 줄이고 각 가설에 확인 방법과 기간을 붙여 적었습니다. 판정 셋이 나오는 분기가 판정 둘이 나오는 분기보다 실제로 더 많은 것을 정리해 줬습니다. 규원이 이 목록을 투자자 보고에도 쓰기 시작했는데, 기능 목록보다 무엇을 알아냈는지를 적는 쪽이 다음 분기 계획의 근거로 읽히기 때문입니다.

데이터가 있으면 검증된 학습이라고 읽는 경우가 가장 많습니다. 숫자를 근거로 결론을 냈으니 검증된 것처럼 보입니다. 하지만 가설 없이 데이터를 먼저 보고 붙인 결론은 해석입니다. 대시보드를 열어 눈에 띄는 숫자를 고르고 이야기를 만들면 어떤 결론이든 만들어지고, 그 결론은 반대 방향으로도 만들 수 있습니다. 순서가 바뀌면 같은 데이터가 어떤 주장도 지지하게 됩니다. 먼저 적힌 문장이 있어야 데이터가 판정을 할 수 있습니다.

배움이니 실패해도 괜찮다고 보는 것도 흔합니다. 틀린 가설에도 값이 있다는 말이 실패를 면제해 주는 것처럼 들립니다. 하지만 값이 생기는 것은 판정이 났고 그 판정이 다음 결정을 바꿨을 때입니다. 같은 것을 세 번 확인하거나, 판정해 놓고 계획을 그대로 두면 학습이 아니라 시간입니다. 실험 수를 세는 대신 그 판정으로 무엇을 멈추고 무엇을 시작했는지를 함께 적어 두면 이 구분이 보입니다.