굿하트의 법칙

숫자로 일을 관리하면 이상한 장면이 반복해서 나타납니다. 목표로 건 숫자는 분명히 좋아졌는데 그 숫자가 대변하던 상태는 그대로이거나 더 나빠져 있는 장면입니다.

고객 문의 응답 시간을 예로 들면 이렇습니다. 평균 30분을 4분으로 줄이라는 목표가 걸리고, 한 분기 뒤 대시보드에는 4분이 찍힙니다. 실제로 일어난 일은 담당자들이 문의를 받자마자 "확인 중입니다" 라는 답을 먼저 보내기 시작한 것입니다. 첫 답장까지 걸린 시간을 재고 있었으니 숫자는 정직하게 내려갔고, 고객이 답을 받기까지 걸린 시간은 그대로였습니다.

이름이 없던 시절에는 이런 일이 사람 문제로 다뤄졌습니다. 저 팀이 꼼수를 쓴다거나 성실하지 않다는 식이었고, 담당자를 바꾸면 해결될 문제처럼 보였습니다. 그래서 같은 일이 부서를 옮겨 가며 반복됐습니다.

1975년에 영국의 한 경제학자가 통화 정책을 두고 같은 현상을 정리했습니다. 관찰해 온 통계적 규칙성은 그것을 관리 목적으로 누르는 순간 무너지는 경향이 있다는 문장이었습니다. 지표가 망가지는 것이 개인의 성품이 아니라 구조에서 나온다는 뜻이고, 이름이 붙은 덕에 사람을 탓하는 대신 설계를 고치는 논의가 가능해졌습니다.

고장은 세 단계를 거칩니다. 단계마다 아무도 잘못한 것이 없는데 결과만 망가진다는 점이 이 법칙의 특징입니다.

1. 재고 싶은 것 대신 잴 수 있는 것을 고릅니다. 정말 알고 싶은 것은 고객이 문제를 해결했는지인데 그건 바로 세기 어려워서, 대신 응답 시간을 봅니다. 무엇을 어떻게 셀지 못 박는 지표 정의가 하는 일이 이 대리물을 고르는 일입니다.
2. 그 숫자에 목표와 보상을 겁니다. 분기 목표로 올리거나 평가에 넣는 순간, 숫자는 상태를 알려 주는 계기판에서 사람들이 향하는 방향으로 바뀝니다.
3. 대리물과 진짜 목표 사이의 틈으로 최적화가 흘러갑니다. 응답 시간과 문제 해결은 평소에는 같이 움직이지만 완전히 같지는 않습니다. 목표를 받은 사람은 둘이 어긋나는 지점, 즉 응답 시간만 내리고 해결은 건드리지 않는 길을 찾아냅니다.

3번이 나쁜 의도에서만 나오지 않는다는 점이 중요합니다. 문의 스무 건이 쌓인 채 4분이라는 목표를 보고 있는 담당자에게 접수 답장을 먼저 보내는 것은 합리적인 선택입니다. 그 사람은 주어진 규칙 안에서 가장 잘하고 있을 뿐입니다.

틈이 클수록 고장도 큽니다. 페이지덱의 응답 시간 사례에서 평균은 30분에서 4분으로 내려갔지만, 같은 고객이 다시 문의해 온 비율은 12퍼센트에서 31퍼센트로 올랐습니다. 접수 답장이 한 건을 두 건으로 불린 것이라 실제 처리량은 오히려 나빠졌습니다.

같은 구조가 개발팀에도, 마케팅에도 그대로 나타납니다. 처리한 작업 건수를 목표로 걸면 작업이 잘게 쪼개지고, 가입 수를 목표로 걸면 광고비가 늘어납니다. 어느 쪽도 거짓말을 한 것은 아닙니다.

이 법칙을 실제로 꺼내 드는 자리는 숫자에 목표를 다는 순간입니다.

목표를 세우는 자리가 첫째입니다. 목표와 그것을 확인할 핵심 결과로 나눠 관리하는 OKR이나 성과를 꾸준히 관찰하려고 정한 KPI를 짤 때, 올리려는 숫자가 어떤 지름길로 오를 수 있는지를 먼저 적어 봅니다. 팀 전체가 한 방향을 보게 만드는 북극성 지표처럼 큰 숫자 하나에 힘을 몰아 줄 때 특히 필요합니다.

실험을 설계하는 자리가 둘째입니다. 두 안을 무작위로 나눠 비교하는 A/B 테스트에서 성공 기준을 클릭률 하나로 잡으면, 낚는 제목을 단 안이 이깁니다. 클릭은 올라가고 그 뒤의 리텐션은 내려가는 결과를 이기는 것으로 판정하게 됩니다.

평가와 보상에 숫자를 넣는 자리가 셋째이자 가장 위험한 자리입니다. 연봉이 걸린 숫자는 가장 빠르게 최적화됩니다.

대응은 크게 셋입니다. 숫자 하나를 목표로 걸 때 그것을 올리다 망가질 수 있는 것을 함께 감시하는 짝을 하나 붙이는 것이 첫째입니다. 응답 시간 옆에 재문의 비율을 놓으면 빈 답장으로 시간만 줄이는 길이 막힙니다. 둘째는 숫자를 보되 숫자 뒤의 사례를 같이 보는 것입니다. 셋째는 목표를 한 분기 이상 그대로 두지 않는 것입니다. 오래 걸어 둘수록 우회로가 정교해집니다.

"이 숫자를 목표로 걸면 굿하트 나요. 가드레일 하나 같이 겁시다."

목표로 삼은 숫자가 우회로로 오를 수 있으니 감시용 숫자를 짝으로 두자는 제안입니다.

"클릭률만 보면 B안이 이겼는데, 가입 후 일주일 유지율은 B가 더 낮아요."

성공 기준으로 잡은 숫자와 실제로 원하는 결과가 어긋났다는 지적입니다.

"응답 시간이 좋아진 게 아니라 접수 답장이 늘어난 겁니다."

지표가 내려간 원인이 개선이 아니라 세는 방식의 빈틈이라는 설명입니다.

지현이 분기 목표를 정리하는 자리에서 이 말이 자주 나옵니다. 지난 분기에 페이지덱은 신규 가입 수를 팀 목표로 걸었고 목표치를 넘겼습니다. 다음 달에 확인해 보니 늘어난 가입의 상당수가 한 번 들어와 문서 하나를 만들고 다시 오지 않는 계정이었습니다.

이번 분기에 지현이 바꾼 것은 목표 숫자가 아니라 목표의 짝이었습니다. 가입 수는 그대로 두고 그 옆에 가입 후 2주 안에 문서를 세 개 이상 만든 계정의 비율을 함께 걸었습니다. 두 숫자가 같이 올라야 목표를 달성한 것으로 치기로 하자, 광고 문구를 바꿔 가입만 늘리는 방식은 더 이상 답이 되지 못했습니다.

지표를 목표로 쓰지 말라는 경고로 읽는 경우가 많습니다. 법칙이 말하는 문장이 실제로 그렇게 들리고, 숫자에 데인 경험이 있는 사람일수록 그렇게 받아들입니다.

목표로 쓰지 않으면 숫자는 아무것도 바꾸지 못합니다. 아무도 향하지 않는 계기판은 분기마다 읽히고 잊힙니다. 이 법칙이 알려 주는 것은 숫자를 목표로 걸지 말라는 것이 아니라, 목표로 거는 순간 그 숫자의 성격이 바뀌므로 걸기 전에 우회로를 미리 그려 보고 짝을 붙이라는 것입니다.

경고로만 받아들이면 팀은 반대쪽으로 넘어갑니다. 아무 숫자에도 목표를 걸지 않거나, 우회할 수 없을 만큼 안전한 숫자만 고르게 됩니다. 그렇게 고른 숫자는 대개 아무도 움직일 수 없는 숫자여서, 보기에는 좋지만 의사결정에 쓸모없는 허무 지표로 대시보드가 채워집니다.