통계 기초

숫자 한 줄을 뽑아 보여 주는 일은 도구가 대신해 준 지 오래입니다. 대시보드에 평균 응답 시간이 뜨고, 실험 도구가 어느 쪽이 이겼는지를 알려 줍니다. 그런데 그 화면을 놓고 앉은 회의에서 같은 숫자가 정반대로 읽히는 일이 자주 생깁니다.

페이지덱에서도 그랬습니다. 지현은 평균 응답 시간이 1.2초라는 숫자를 들고 왔고, 태오는 느리다는 문의가 매주 들어온다고 했습니다. 둘 다 맞는 말이었습니다. 요청의 절반은 0.3초 안에 끝나고 있었고 가장 느린 5퍼센트는 6초를 넘고 있었는데, 평균 하나가 그 두 덩어리를 가운데로 뭉개 놓았기 때문입니다. 한 시간 동안 누구 말이 맞는지를 다투는 대신 무엇을 보면 이 다툼이 끝나는지를 알았다면 회의는 5분이면 끝났을 자리였습니다.

같은 자리에서 자주 벌어지는 다른 다툼은 차이를 차이라고 불러도 되는지입니다. 가입 화면을 바꾼 쪽의 전환율이 12퍼센트, 그대로 둔 쪽이 9퍼센트로 나왔다면 바꾼 쪽이 이긴 것처럼 보입니다. 그런데 양쪽에 200명씩만 들어간 결과라면 이 3퍼센트포인트는 동전을 200번씩 두 번 던져 앞면이 24개와 18개 나온 것과 크게 다르지 않습니다. 같은 실험을 다음 주에 다시 돌리면 순서가 뒤집힐 수 있습니다.

두 장면의 공통점은 숫자가 없어서 생긴 문제가 아니라는 것입니다. 숫자는 이미 화면에 있었고, 그 숫자가 무엇을 버리고 만들어졌는지와 얼마나 흔들리는 값인지를 아무도 확인하지 않았을 뿐입니다. 통계 기초는 그 확인에 쓰는 개념들의 묶음입니다. 여러 값을 하나로 줄이는 방법, 줄이면서 무엇이 사라지는지, 일부만 보고 전체를 말할 때 얼마나 틀릴 수 있는지를 다룹니다. 도구는 숫자를 만들어 주고, 이 개념들은 그 숫자를 어디까지 믿을지를 정해 줍니다.

통계 기초 아래 묶인 용어는 다섯 갈래입니다. 여러 값을 하나로 줄이는 방법, 값들이 얼마나 흩어져 있는지, 일부만 보고 전체를 말하는 방법, 그 말이 우연일 가능성을 따지는 방법, 값들 사이의 관계를 식으로 적는 방법입니다. 앞의 둘은 손에 쥔 데이터를 설명하는 데까지만 쓰이고, 뒤의 셋은 손에 없는 것까지 말하려 할 때 붙습니다.

대푯값은 여러 값을 하나로 줄이는 갈래이고 세 자리가 있습니다.

1. 평균 — 값을 모두 더해 개수로 나눈 값입니다. 응답 시간 다섯 건이 0.3, 0.4, 0.3, 6.2, 0.3초였다면 합이 7.5이므로 평균은 1.5초입니다. 모든 값이 조금씩 반영된다는 점이 장점이자 약점입니다. 실제로 1.5초를 경험한 요청은 한 건도 없습니다.
2. 중앙값 — 크기순으로 늘어놓았을 때 가운데 오는 값입니다. 같은 다섯 건을 늘어놓으면 0.3, 0.3, 0.3, 0.4, 6.2이므로 중앙값은 0.3초입니다. 한쪽으로 멀리 떨어진 값이 섞여도 흔들리지 않아서, 연봉이나 응답 시간처럼 한쪽 꼬리가 긴 데이터에서는 평균보다 실제에 가깝습니다.
3. 백분위수 — 전체에서 어느 위치에 있는지를 나타내는 값입니다. 95백분위수가 6초라면 요청 100건 중 95건은 6초 안에 끝났고 나머지 5건은 그보다 오래 걸렸다는 뜻입니다. 중앙값도 백분위수의 한 경우, 곧 50백분위수입니다. 서비스 속도를 볼 때 평균 대신 이 값을 쓰는 이유는 가장 나쁜 경험을 겪는 쪽을 가리기 때문입니다.

퍼짐은 값들이 얼마나 흩어져 있는지를 다루는 갈래이고 세 자리가 있습니다. 대푯값만으로는 부족한 이유가 여기 있습니다. 평균이 같은 두 집단이라도 한쪽은 모두 비슷하고 다른 쪽은 양 끝으로 갈려 있을 수 있습니다.

1. 분산 — 각 값이 평균에서 떨어진 거리를 제곱해 평균 낸 값입니다. 제곱하는 이유는 위로 벗어난 값과 아래로 벗어난 값이 서로 상쇄되지 않게 하려는 것입니다. 대신 단위가 제곱이 되어 그대로는 읽기 어렵습니다. 응답 시간을 초 단위로 쟀다면 분산의 단위는 제곱초입니다.
2. 표준편차 — 분산에 제곱근을 씌워 원래 단위로 되돌린 값입니다. 평균 40분에 표준편차 5분인 작업은 대체로 35분에서 45분 사이에 끝나고, 같은 평균에 표준편차가 30분이면 10분에 끝나기도 하고 한 시간을 넘기기도 한다는 뜻입니다. 일정을 잡을 때 쓸 수 있는 쪽은 앞입니다.
3. 이상치 — 다른 값들과 동떨어진 값입니다. 앞의 6.2초짜리 요청이 여기 해당합니다. 지워야 할 오류일 때도 있고 가장 중요한 신호일 때도 있어서, 빼기 전에 왜 생겼는지부터 봅니다. 결제 금액이 평소의 300배인 건이 입력 실수인지 새로 들어온 대기업 계약인지에 따라 다음에 할 일이 완전히 달라집니다.

추정은 일부만 보고 전체를 말하는 갈래이고 두 자리가 있습니다.

1. 표본 — 전체를 대표하도록 뽑은 일부입니다. 사용자 12만 명에게 전부 물을 수 없으니 800명에게 묻고 그 답을 전체의 답으로 씁니다. 여기서 중요한 것은 크기보다 뽑는 방식입니다. 앱 안에 띄운 설문은 앱에 자주 들어오는 사람만 답하므로, 800명이 아니라 8천 명을 모아도 떠난 사람의 생각은 끝내 들어오지 않습니다.
2. 신뢰 구간 — 표본에서 얻은 값을 두고 참값이 들어 있을 것으로 보는 범위입니다. 800명 중 46퍼센트가 만족한다고 답했을 때 결과를 42에서 50퍼센트 사이로 적는 식입니다. 표본이 커지면 범위가 좁아집니다. 이 범위를 함께 적어 두면 지난달 44퍼센트와 이번 달 46퍼센트를 놓고 올랐다고 말해도 되는지가 바로 보입니다. 두 범위가 겹쳐 있으면 아직 오른 것이 아닙니다.

검정은 관찰된 차이가 우연일 가능성을 따지는 갈래이고 세 자리가 있습니다.

1. p값 — 실제로는 아무 차이가 없는데 우연만으로 지금 같은 차이가 나올 확률입니다. 0.03이면 차이가 없는 세상에서도 이 정도 결과가 100번에 세 번은 나온다는 뜻입니다.
2. 통계적 유의성 — 그 확률이 미리 정해 둔 선보다 낮아서 우연으로 보기 어렵다고 판단하는 기준입니다. 선은 보통 0.05로 잡고, 실험을 시작하기 전에 정해 둡니다. 결과를 본 뒤에 선을 옮기면 판단이 아니라 사후 설명이 됩니다.
3. 검정력 — 실제로 차이가 있을 때 그 차이를 잡아낼 확률입니다. 표본이 작으면 이 값이 낮아지고, 낮은 검정력으로 돌린 실험에서 나온 차이 없음은 차이가 없다는 뜻이 아니라 있어도 못 봤다는 뜻입니다. 그래서 실험을 시작하기 전에 몇 명을 모아야 하는지부터 계산합니다. 양쪽 200명으로 3퍼센트포인트를 가려내려는 실험은 대개 여기서 걸립니다.

모델은 값들 사이의 관계를 식으로 적는 갈래이고 회귀 분석 한 자리가 있습니다. 여러 변수가 결과와 어떻게 맞물려 움직이는지를 추정해, 팀 인원이 한 명 늘 때 문서 생성 수가 얼마나 늘어나는지 같은 관계를 숫자로 내놓습니다. 여기서 나온 관계를 원인으로 읽으면 안 된다는 점이 계속 따라붙습니다. 문서를 많이 만드는 팀이 오래 남는다는 식이 나와도, 문서를 더 만들도록 밀어 주면 오래 남게 되는지는 갈라서 해 봐야 압니다.

다섯 갈래는 실험 하나를 읽을 때 한꺼번에 동원됩니다. 변화를 나눠 적용해 효과를 확인하는 방법인데, 몇 명을 모을지는 검정력이 정하고, 결과를 요약하는 숫자는 대푯값이 고르고, 그 숫자가 믿을 만한지는 퍼짐과 신뢰 구간이 말하고, 차이라고 불러도 되는지는 검정이 판정합니다. 한 자리만 빠져도 남은 숫자를 잘못 읽습니다.

"평균 응답 시간 말고 95백분위수로 보여 주세요. 평균은 느린 쪽을 가려 버려요."

전체를 요약한 값 대신 가장 나쁜 경험을 겪는 구간을 보자는 요청입니다.

"표본이 양쪽 200명인데 3퍼센트포인트 차이면 아직 뭐라고 말하기 어렵습니다. 신뢰 구간이 겹쳐요."

관찰된 차이가 우연으로도 나올 수 있는 크기라 결론을 미루자는 말입니다.

"이번 실험은 검정력이 낮아서 차이가 없다는 결과를 차이가 없다는 뜻으로 읽으면 안 됩니다."

표본이 작아 애초에 웬만한 차이는 잡아낼 수 없는 설계였다는 지적입니다.

페이지덱의 그로스 팀이 가입 화면 문구를 바꾼 실험을 돌린 주에 이 대화가 그대로 오갔습니다. 현우가 가져온 표에는 바꾼 쪽 12.1퍼센트, 그대로 둔 쪽 9.4퍼센트가 적혀 있었고, 양쪽에 들어간 사람은 각각 210명이었습니다. 지현이 먼저 물은 것은 두 숫자의 신뢰 구간이 어디까지냐였습니다. 계산해 보니 한쪽은 8퍼센트에서 17퍼센트, 다른 쪽은 6퍼센트에서 14퍼센트로 크게 겹쳤습니다.

두 사람은 실험을 끄지 않고 3주를 더 돌리기로 했습니다. 처음에 몇 명을 모을지 계산해 두지 않은 것이 문제였고, 다시 계산해 보니 이만한 차이를 가려내려면 양쪽에 1,500명씩 필요했습니다. 현우가 표를 돌린 김에 함께 본 것은 유입 경로별로 나눈 숫자였는데, 검색으로 들어온 사람과 초대로 들어온 사람의 전환율이 워낙 달라 두 집단을 합친 평균이 어느 쪽도 설명하지 못하고 있었습니다.

통계는 전공한 사람의 일이고 실무자는 도구가 내놓은 결과만 읽으면 된다고 여기는 경우가 가장 많습니다. 실제로 실험 도구는 승자를 표시해 주고 대시보드는 평균을 자동으로 계산해 주니 그렇게 보이는 것이 자연스럽습니다. 그러나 도구가 만들어 주는 것은 숫자까지이고, 그 숫자를 어느 결정에 쓸지는 도구가 모릅니다. 응답 시간을 평균으로 볼지 95백분위수로 볼지, 실험을 언제 멈출지, 겹치는 범위를 차이로 부를지는 제품을 아는 사람만 정할 수 있습니다. 이 판단을 도구에 넘기면 승자 표시가 뜬 날 바로 배포하고, 두 달 뒤에 지표가 그대로인 이유를 설명하지 못하게 됩니다. 필요한 것은 계산하는 능력이 아니라 이 숫자가 무엇을 버리고 만들어졌는지 묻는 습관입니다.

유의하다는 말을 크다나 중요하다는 뜻으로 읽는 오해도 흔합니다. 일상에서 유의미하다는 말이 곧 의미가 있다는 뜻으로 쓰이기 때문입니다. 통계에서 이 말이 가리키는 것은 하나뿐입니다. 관찰된 차이가 우연만으로 나오기 어려울 만큼은 된다는 것입니다. 차이의 크기에 대해서는 아무 말도 하지 않습니다. 사용자를 10만 명씩 나눠 돌린 실험에서 전환율 4.00퍼센트와 4.05퍼센트가 나오면 이 차이는 유의하게 판정되지만, 그 0.05퍼센트포인트를 얻자고 화면을 새로 만들 이유는 없을 수 있습니다. 반대쪽 착각도 같이 붙어 다닙니다. 유의하지 않다는 결과를 차이가 없다는 확인으로 읽는 것입니다. 표본이 작으면 꽤 큰 차이도 유의하지 않게 나오므로, 이 경우에 남는 결론은 아직 모른다는 것뿐입니다. 그래서 결과를 읽을 때는 유의한지와 함께 차이가 얼마나 큰지, 그 정도 차이가 사업에 쓸모가 있는지를 나란히 놓고 봅니다.