신뢰 구간

보고서에 적히는 숫자는 대개 전체가 아니라 일부에서 나옵니다. 사용자 12만 명에게 모두 물을 수는 없으니 800명에게 묻고 그 답을 전체의 답으로 적습니다. 그런데 800명은 뽑을 때마다 다른 800명이고, 다시 뽑으면 답도 조금씩 달라집니다. 숫자 하나만 적힌 보고서에는 이 흔들림이 어디에도 남지 않습니다.

그래서 회의는 늘 같은 자리에서 멈췄습니다. 만족도가 지난 분기 44퍼센트에서 이번 분기 46퍼센트가 되었다고 적어 오면, 누군가 "그거 다시 물으면 또 46 나와요?" 하고 묻습니다. 답할 방법이 없으니 2퍼센트포인트 올랐다고 읽는 쪽과 그냥 같은 수준이라고 읽는 쪽이 갈리고, 결론은 목소리 큰 쪽으로 납니다.

신뢰 구간은 그 흔들림의 크기를 숫자 옆에 같이 적자는 약속입니다. 46퍼센트라고 쓰는 대신 42.6에서 49.4퍼센트 사이라고 씁니다. 범위가 넓으면 아직 말할 수 있는 것이 적고, 좁으면 그만큼 분명하게 말해도 됩니다.

표본에서 얻은 값을 가운데 두고, 그 값이 표본마다 얼마나 흔들리는지를 재서 좌우로 더하고 뺍니다.

여기서 표본은 전체를 대표하도록 뽑은 일부를 말합니다. 12만 명 가운데 800명이 표본이고, 신뢰 구간은 그 800명의 답으로 12만 명을 말할 때 붙는 범위입니다.

계산은 네 단계입니다.

1. 표본에서 값을 구합니다. 800명 중 368명이 만족한다고 답했으면 46퍼센트입니다.
2. 그 값이 표본마다 얼마나 흔들리는지를 구합니다. 비율이라면 0.46에 0.54를 곱하고 800으로 나눈 뒤 제곱근을 씌웁니다. 약 0.018, 곧 1.8퍼센트포인트가 나옵니다. 800명을 새로 뽑을 때마다 답이 이 정도씩 움직인다는 뜻입니다.
3. 신뢰 수준을 정하고 거기에 맞는 배수를 곱합니다. 95퍼센트를 쓰면 배수가 약 1.96이고, 1.8에 1.96을 곱하면 3.4퍼센트포인트입니다.
4. 중심값에서 그만큼 빼고 더합니다. 46에서 3.4를 빼면 42.6, 더하면 49.4이므로 구간은 42.6에서 49.4퍼센트입니다.

보고서에는 46퍼센트(95퍼센트 신뢰 구간 42.6~49.4) 형태로 적습니다.

폭을 정하는 것은 표본 크기와 신뢰 수준 둘뿐입니다. 표본을 키우면 좁아지지만 사람 수에 비례하지는 않습니다. 2단계에서 표본 수에 제곱근이 씌워지기 때문에 폭을 절반으로 줄이려면 네 배를 모아야 합니다. 800명에서 3.4퍼센트포인트였던 폭은 1,600명에서 2.4가 되고, 1.7까지 내리려면 3,200명이 필요합니다. 신뢰 수준은 얼마나 자주 틀려도 되는지를 미리 정해 두는 값입니다. 95퍼센트가 관행이고, 조사를 시작하기 전에 정해 결과를 본 뒤에는 바꾸지 않습니다.

좁을수록 좋지만 몇 퍼센트포인트 이하여야 한다는 합격선은 없습니다. 기준은 폭 자체가 아니라 그 폭으로 결정을 내릴 수 있는지입니다.

보는 방법은 구간의 양 끝을 따로 읽어 보는 것입니다. 두 끝이 같은 결정을 가리키면 충분히 좁습니다. 유료 플랜을 이어 갈지 접을지를 만족도 45퍼센트로 갈라 두었다면 42.6에서 49.4퍼센트라는 구간은 아래 끝에서 접자는 답이, 위 끝에서 잇자는 답이 나오므로 아직 쓸 수 없습니다. 기준선이 35퍼센트였다면 양 끝 모두 잇자는 답이니 그대로 결정합니다.

두 시점이나 두 안을 견줄 때는 구간이 겹치는지를 봅니다. 지난 분기 만족도가 40.3에서 47.7, 이번 분기가 42.6에서 49.4라면 두 범위가 크게 겹치므로 올랐다고 적으면 안 됩니다. 44와 46의 차이는 같은 집단에 두 번 물어도 나올 만한 크기입니다.

지표마다 필요한 폭이 다릅니다. 방문 대비 목표 행동을 한 비율인 전환율은 0.1퍼센트포인트가 곧 매출이라 폭을 0.2퍼센트포인트까지 좁혀야 쓸 수 있고, 방향만 확인하는 만족도 조사는 4퍼센트포인트라도 씁니다. 그래서 두 안을 무작위로 나눠 보여 주고 결과를 비교하는 A/B 테스트에서는 시작 전에 필요 표본 수를 계산합니다. 가려내고 싶은 차이를 정하면 그만큼 좁은 구간에 몇 명이 필요한지 따라 나옵니다.

"A안 전환율이 3.1퍼센트, B안이 3.4퍼센트인데 구간이 겹쳐요."

범위가 포개져 있으니 아직 B가 낫다고 말할 수 없고, 더 모으거나 실험을 접자는 제안입니다.

"응답이 120명뿐이라 구간이 9퍼센트포인트씩 벌어져요. 이걸로는 결정 못 합니다."

숫자가 없는 게 아니라 있어도 못 쓴다는 뜻입니다.

"그 46퍼센트 옆에 구간도 같이 적어 주세요."

점 하나만 적힌 보고서로는 읽는 쪽이 흔들림을 알 수 없다는 뜻입니다.

페이지덱에서는 분기마다 돌리는 설문 조사 결과를 볼 때 이 범위가 먼저 나옵니다. 같은 질문을 다수에게 물어 분포를 보는 조사인데, 지현이 이번 분기 만족도 46퍼센트를 들고 들어오면 규원이 지난 분기 44와 견줍니다. 지현은 두 분기의 구간을 나란히 놓고 크게 겹친다는 점을 짚은 뒤, 올랐다고 적는 대신 같은 수준이라고 적자고 말합니다.

태오가 응답자를 더 모으자고 하면 지현이 네 배를 모아야 폭이 절반이 된다고 답합니다. 3,200명을 받으려면 조사가 한 달을 넘기고 그 사이 제품이 바뀌므로, 그 분기는 만족도로 판단하기를 접습니다.

95퍼센트 신뢰 구간을 참값이 이 안에 있을 확률이 95퍼센트라는 뜻으로 읽는 경우가 가장 많습니다. 신뢰라는 이름에 95라는 숫자가 붙어 있으니 그렇게 읽기 쉽습니다. 실제로 95퍼센트가 붙는 대상은 손에 쥔 범위가 아니라 범위를 만드는 절차입니다. 같은 방식으로 표본을 100번 뽑아 구간 100개를 만들면 그중 95개가 참값을 품는다는 뜻이고, 지금 하나가 그 95개에 드는지는 알 수 없습니다. 이 오해를 두면 구간 안쪽에 다시 서열을 매겨 가운데 값이 더 유력하다는 이야기를 덧붙이게 됩니다.

신뢰 수준을 올리면 결과가 더 정확해진다고 읽는 것도 흔합니다. 99퍼센트가 95퍼센트보다 높으니 더 나은 분석처럼 들립니다. 하지만 3단계의 배수가 1.96에서 2.58로 커질 뿐이라 3.4퍼센트포인트였던 폭이 4.5로 넓어집니다. 틀릴 위험은 줄지만 말할 수 있는 것도 같이 줄어듭니다. 그대로 두면 99퍼센트로 봤다는 보고가 더 믿을 만하게 통용되고, 정작 그 넓은 범위로는 아무 결정도 못 한다는 사실을 넘어갑니다.