분산

숫자 여러 개를 한 줄로 보고할 때 가장 먼저 쓰이는 것은 평균입니다. 값을 모두 더해 개수로 나눈 값이라 계산도 설명도 쉽습니다. 그런데 평균 하나만 들고 가면 전혀 다른 두 상황이 같은 숫자로 보고됩니다.

작업 다섯 건이 35, 40, 40, 40, 45분에 끝난 팀과 10, 15, 40, 70, 65분에 끝난 팀은 평균이 둘 다 40분입니다. 앞의 팀에는 "40분쯤 걸립니다" 라고 약속할 수 있고 뒤의 팀에는 쓸 수 없습니다. 보고서에는 같은 40분이 적히니 받는 사람은 두 팀을 구분할 수 없습니다.

응답 시간에서도 같은 일이 벌어집니다. 다섯 건이 0.3, 0.4, 0.3, 6.2, 0.3초였다면 평균은 1.5초인데 실제로 1.5초를 경험한 요청은 한 건도 없고 한 명은 6초를 기다렸습니다. "평균 1.5초인데요" 라고 답하면 "저는 계속 느린데요" 라는 말이 돌아오고, 양쪽 다 틀린 말을 하지 않았습니다.

분산은 이 빈자리를 메우는 숫자입니다. 평균이 가운데가 어디인지를 말한다면 분산은 값들이 그 가운데에서 얼마나 퍼져 있는지를 말합니다.

평균을 구하고, 각 값에서 평균을 뺀 거리를 제곱해서 모두 더한 다음, 개수로 나눕니다.

1. 평균을 먼저 구합니다. 35, 40, 45라면 합이 120이고 개수가 3이므로 평균은 40입니다.
2. 각 값에서 평균을 뺍니다. 이 차이를 편차라고 부릅니다. 예시에서는 -5, 0, 5가 나옵니다.
3. 편차를 제곱합니다. 25, 0, 25가 됩니다. 제곱하는 이유는 그대로 더하면 위아래로 벗어난 값이 서로 지워지기 때문입니다. -5와 5를 그냥 더하면 0이 되어 흩어져 있는데도 흩어짐이 없다는 답이 나옵니다.
4. 제곱한 값을 더해 개수로 나눕니다. 합이 50이고 개수가 3이니 분산은 약 16.7입니다. 전체가 아니라 일부만 뽑아 본 표본이라면 개수 대신 개수에서 1을 뺀 값으로 나눕니다. 일부만 보면 흩어짐이 실제보다 작게 나오는 경향이 있어 이를 보정하는 것입니다.
5. 단위를 확인합니다. 분의 제곱, 초의 제곱처럼 원래 단위의 제곱이 됩니다. 그래서 그대로 읽어 설명하기 어렵고, 제곱근을 씌워 원래 단위로 되돌린 표준편차를 함께 씁니다.

같은 방식으로 앞의 두 팀을 계산하면 차이가 분명해집니다. 35, 40, 40, 40, 45인 팀은 분산이 10이고, 10, 15, 40, 70, 65인 팀은 610입니다. 평균은 같은 40인데 흩어짐은 예순 배 넘게 다릅니다.

절대값에는 기준이 없습니다. 단위가 제곱이라 크기를 가늠하기 어렵고, 재는 대상의 규모에 따라 값이 함께 커집니다. 초로 잰 응답 시간과 밀리초로 잰 같은 데이터의 분산은 백만 배 차이가 납니다. 그래서 홀로 쓰지 않고 비교로 씁니다.

쓸 수 있는 비교는 셋입니다. 같은 지표를 재는 두 집단을 나란히 놓는 것, 같은 집단을 시간에 따라 보는 것, 표준편차를 평균으로 나눠 규모를 보정한 값으로 다른 지표를 견주는 것입니다. 배포 시간 표준편차 6분을 평균 22분으로 나누면 0.27이고, 응답 시간에서 같은 계산이 0.9가 나오면 뒤쪽이 훨씬 고르지 않다고 말할 수 있습니다.

작을수록 좋은지도 목적에 따라 갈립니다. 일정을 약속하거나 서비스 품질을 말할 때는 작은 쪽이 낫습니다. 반대로 실험을 설계할 때는 흩어짐이 크다는 사실 자체가 판단의 입력입니다. 분산이 크면 같은 크기의 차이를 가려내는 데 더 많은 사람이 필요하고, 그 계산은 검정력이 맡습니다. 실제로 차이가 있을 때 잡아낼 확률인데, 분산을 모르면 몇 명을 모아야 하는지 정할 수 없습니다.

값 하나에 크게 흔들린다는 성질도 주의합니다. 편차를 제곱하기 때문에 멀리 떨어진 값 하나가 나머지를 합친 것보다 큰 몫을 차지할 수 있습니다. 앞의 응답 시간 다섯 건에서 6.2초짜리를 빼면 분산이 거의 0이 됩니다. 그래서 분산이 갑자기 커졌을 때 먼저 볼 것은 전체가 흐트러졌는지 이상치 한 건이 들어왔는지입니다.

"평균은 같은데 분산이 예순 배라서 이 팀 일정은 약속할 수 없습니다."

가운데 값이 같아도 예측 가능성은 전혀 다르다는 지적입니다.

"분산이 커서 필요한 표본 수가 두 배가 됩니다. 실험 기간을 늘려야 해요."

흩어짐이 실험 설계의 입력으로 들어간다는 뜻입니다.

"그 값 하나 빼면 분산이 절반으로 줍니다. 오류인지 먼저 확인해 주세요."

숫자가 커진 원인이 전체인지 한 건인지 가리자는 말입니다.

태오가 배포에 걸리는 시간을 스무 번 뽑아 본 적이 있습니다. 평균은 22분으로 나쁘지 않았지만 짧은 것은 8분, 긴 것은 70분이었습니다. 지현이 배포 일정을 약속할 수 없다고 말한 근거가 이 흩어짐이었습니다.

원인을 찾아보니 특정 테스트가 간헐적으로 실패해 두 번 더 실행되는 경우가 스무 번 중 세 번 있었습니다. 그 세 건을 빼면 분산이 5분의 1로 줄었습니다. 태오는 그 테스트를 고쳤고, 다음 스무 번의 평균은 19분에 최대 24분이 됐습니다. 평균이 3분 줄어든 것보다 최대값이 70분에서 24분으로 내려온 것이 일정 약속을 가능하게 만든 변화였습니다.

분산 값을 원래 단위로 읽는 경우가 가장 많습니다. 16.7이라는 숫자가 나오면 16.7분처럼 들리기 때문입니다. 하지만 제곱 과정을 거쳤으니 단위도 제곱입니다. 이 오해가 남으면 "편차가 16.7분 정도입니다" 라고 보고하게 되는데 실제 흩어짐은 4분 남짓이고, 그 숫자로 세운 일정이 네 배 여유를 잡게 됩니다. 설명할 자리에서는 제곱근을 씌운 값을 쓰고 분산은 계산 중간 숫자로 두는 편이 안전합니다.

작으면 항상 좋다고 보는 오해도 흔합니다. 흩어짐이 문제로 보고되는 일이 많으니 그렇게 읽기 쉽습니다. 그런데 사용자 행동 지표에서 분산이 거의 없다면 측정이 한쪽만 보고 있다는 신호일 수 있습니다. 또 분산을 줄이려고 멀리 떨어진 값을 빼기 시작하면 가장 중요한 신호를 버리게 됩니다. 결제 금액이 평소의 300배인 건은 입력 실수일 수도 있고 새로 들어온 대기업 계약일 수도 있어서, 빼기 전에 왜 생겼는지부터 확인해야 합니다.