컨피던스

숫자로 적어 놓으면 근거의 세기가 사라집니다. 로그를 세어 확인한 2,000명과 회의에서 들은 말로 짐작한 2,000명이 표의 같은 칸에 같은 모양으로 앉습니다.

페이지덱에서 그 일이 걸렸습니다. 지현이 점수표에서 1위로 올라온 항목의 도달 범위 근거를 물었더니, 영업 회의에서 세 번쯤 들었다는 답이 돌아왔습니다. 바로 아래 항목은 로그에서 센 값이었습니다. 확인한 값과 짐작한 값이 같은 자리에서 곱해져 순서를 만들고 있었습니다.

컨피던스는 그 세기를 계산에 넣는 칸입니다. 근거가 얇으면 점수가 내려가고, 순위를 올리고 싶으면 주장을 키우는 대신 근거를 가져와야 합니다.

근거의 종류에 따라 정해 둔 백분율을 다른 값들에 곱합니다. 눈금은 보통 세 단계로 씁니다.

1. 100퍼센트 — 로그나 지난 실험 결과처럼 이미 재 본 숫자가 있는 경우입니다.
2. 80퍼센트 — 설문이나 인터뷰 여러 건처럼 근거는 있지만 직접 재지는 않은 경우입니다.
3. 50퍼센트 — 한두 사람의 말이나 경험에서 나온 짐작인 경우입니다.

50퍼센트에도 못 미친다고 느껴지면 표에 올리지 않고 근거를 먼저 확인합니다.

계산에서는 리치와 임팩트에 이 값을 곱한 뒤 이포트로 나눕니다. 리치 2,000명에 임팩트 2를 곱하고 80퍼센트를 곱해 3인월로 나누면 1,067이 나오고, 같은 항목의 근거가 짐작뿐이어서 50퍼센트가 되면 667로 내려앉습니다.

이 칸이 하는 일은 순위를 바꾸는 것만이 아닙니다. 점수를 올리는 가장 싼 방법이 근거를 만드는 일이 됩니다. 반나절 로그 조회로 50퍼센트를 100퍼센트로 바꾸면 점수가 두 배가 되니, 그 반나절이 다음에 할 일 목록의 맨 앞에 옵니다. 다만 이 값은 성공 확률이 아닙니다. 앞의 추정치가 맞을 가능성이고, 기능이 성과를 낼 가능성은 여기서 다루지 않습니다.

"리치 근거가 뭐예요? 로그면 100퍼센트, 영업이 들은 얘기면 50퍼센트입니다."

숫자를 지우는 대신 근거의 출처를 물어 값을 정하는 말입니다.

"이건 50퍼센트로 두고 다음 주에 로그를 뽑아서 다시 매기겠습니다."

지금 결정하지 않고 확인 작업을 하나 만들겠다는 뜻입니다.

"100퍼센트로 올리려면 실험을 해야 하는데, 그 실험이 이 기능보다 큽니다."

근거를 더 모으는 비용이 남는 값을 넘는 지점이 있다는 지적입니다.

지현이 18건을 매긴 표에서 1위였던 항목은 컨피던스를 50퍼센트로 내리자 3위로 밀렸습니다. 태오가 반나절 동안 로그를 뒤져 실제로 그만큼의 사용자가 그 화면을 지난다는 것을 확인하고 나서야 다시 1위로 돌아왔습니다. 두 시간짜리 말다툼이 반나절짜리 확인 작업으로 바뀐 셈입니다.