캘리브레이션

평가는 오랫동안 관리자 각자의 손에서 끝났습니다. 관리자가 자기 팀원의 등급을 정해 인사팀에 넘기면 그대로 확정됐고, 옆 팀에서 어떤 기준으로 등급을 매겼는지는 아무도 보지 못했습니다.

그런데 사람마다 눈금이 달랐습니다. 어떤 관리자는 팀원을 격려하려고 여섯 명 중 넷에게 최고 등급을 줬고, 어떤 관리자는 최고 등급은 정말 특별한 해에만 주는 것이라고 믿어 한 명도 주지 않았습니다. 두 팀에서 비슷하게 일한 두 사람이 각각 최고 등급과 중간 등급을 받았고, 그 차이는 두 사람의 일이 아니라 두 관리자의 성향에서 나왔습니다.

이 차이는 등급에서 끝나지 않습니다. 등급은 대개 연봉 인상률과 성과급, 승진 후보 명단으로 이어지기 때문에, 관대한 관리자 밑에 있었다는 이유만으로 한 해 보상이 달라집니다. 점심시간에 서로 등급을 맞춰 보다가 "그 팀은 다 A 받았다더라" 는 말이 도는 순간, 평가 결과는 성과에 대한 판단이 아니라 어느 팀에 속했느냐의 결과로 읽힙니다.

캘리브레이션은 그 눈금을 맞추려고 한 단계를 더 붙인 것입니다. 각자 정한 등급을 곧바로 확정하는 대신, 평가자들이 모여 자기 팀원을 설명하고 서로 근거를 묻는 자리를 먼저 둡니다. 근거를 대지 못한 등급은 그 자리에서 조정됩니다.

평가자들이 각자 매긴 초안 등급을 들고 모여, 한 사람씩 설명하고 서로 질문한 뒤 조정된 등급을 확정하는 순서로 진행합니다.

1. 초안 등급을 미리 모읍니다. 회의 며칠 전까지 각 관리자가 팀원별 등급과 근거를 적어 제출합니다. 회의장에서 처음 등급을 고민하기 시작하면 두 시간이 등급 정하기로 다 갑니다.
2. 전체 분포를 먼저 띄웁니다. 팀별로 어떤 등급이 몇 명씩 나왔는지를 나란히 놓고 봅니다. 한 팀만 최고 등급 비율이 세 배로 높으면 그 팀부터 이야기를 시작합니다.
3. 한 사람씩 설명합니다. 관리자가 팀원 한 명의 등급과 그 근거를 말합니다. 이때 근거는 "성실했다" 같은 인상이 아니라 그 기간에 실제로 있었던 일이어야 합니다. 어떤 일을 맡아 어디까지 끌고 갔는지, 동료 평가와 360도 피드백에 무엇이 적혔는지를 함께 놓습니다.
4. 다른 평가자가 묻습니다. 여기가 이 회의의 핵심입니다. "우리 팀에서 그 정도 한 사람은 B 였는데 그 팀에서는 왜 A 인가요" 라는 질문이 나오고, 답이 되지 않으면 등급이 내려갑니다. 반대로 설명을 듣고 다른 관리자가 자기 팀원의 등급을 올리는 경우도 있습니다.
5. 조정된 등급을 그 자리에서 확정하고 기록합니다. 누구의 등급이 왜 바뀌었는지를 함께 적어 둡니다. 이 기록이 없으면 관리자가 결과를 전할 때 설명할 말이 없습니다.
6. 각 관리자가 구성원에게 결과를 전합니다. 회의에서 나온 이야기를 그대로 옮기지는 않되, 등급의 근거는 회의에서 검증된 대로 전합니다.

참여자는 같은 등급 체계를 쓰는 평가자들과 그 회의를 진행하는 사람입니다. 보통 한 조직장 아래 팀장 다섯에서 여덟 명이 모이고, 인사 담당자가 진행과 기록을 맡습니다. 인사 담당자는 등급을 정하지 않고 분포를 띄우고 시간을 관리하며 근거가 빈 발언을 짚습니다.

모이는 범위를 정하는 기준은 서로 비교가 되느냐입니다. 개발팀과 세일즈팀은 하는 일이 달라 같은 자리에서 견주기 어려우므로 직군별로 나누는 경우가 많습니다. 반대로 같은 직군인데 팀만 다른 경우는 반드시 같은 자리에 넣습니다. 눈금이 어긋나는 곳이 정확히 거기이기 때문입니다.

시점은 평가 주기의 마지막 단계입니다. 성과 평가로 각자의 초안이 나온 뒤이고, 구성원에게 결과를 전하기 전입니다. 이 순서를 지키지 않으면 회의가 의미를 잃습니다. 이미 "A 예요" 라고 말해 놓은 관리자는 회의에서 근거가 부족하다는 지적을 받아도 등급을 내리지 못합니다.

한 번에 두세 시간이 걸리고 반기나 분기마다 한 번씩 돕니다. 팀원 40명을 다루는 자리라면 한 사람에 3분 남짓이라, 논의가 필요한 사람을 미리 골라 두고 나머지는 빠르게 넘기는 팀이 많습니다.

"그 등급은 캘리브레이션에서 한 번 더 볼게요."

지금 자리에서 확정하지 않고 다른 평가자들과 비교한 뒤 정하겠다는 뜻입니다.

"캘리브레이션 전까지 팀원별 근거 정리해서 올려 주세요."

회의에서 설명할 사실을 미리 적어 두라는 요청입니다.

"이번엔 캘리브레이션에서 A 두 개가 B 로 내려갔어요."

근거가 다른 팀 기준에 비해 약해서 회의 중에 조정됐다는 말입니다.

페이지덱에서 상반기 평가를 처음 돌렸을 때, 팀장 여섯 명이 낸 초안에서 최고 등급이 팀마다 0명에서 3명까지 갈렸습니다. 규원이 여섯 명을 한자리에 불러 분포를 띄우고 한 명씩 설명하게 했습니다. 태오가 자기 팀의 A 를 설명하면서 든 근거는 "야근을 많이 했다" 였고, 지현이 그 일이 어떤 결과로 이어졌는지를 되물었습니다. 답이 나오지 않아 그 등급은 B 가 됐습니다.

같은 회의에서 반대 방향의 조정도 나왔습니다. 수아가 중간 등급으로 올린 팀원이 있었는데, 설명을 듣던 다른 팀장이 그 사람이 자기 팀 프로젝트에서 한 일을 보태자 근거가 달라졌습니다. 회의가 끝난 뒤 규원은 무엇이 왜 바뀌었는지를 한 장으로 정리해 여섯 명에게 돌렸습니다.

등급 비율을 강제로 맞추는 자리로 아는 경우가 가장 많습니다. 분포를 띄우고 한 팀만 높으면 지적하니 그렇게 보입니다. 하지만 목적은 비율을 맞추는 것이 아니라 근거의 수준을 맞추는 것입니다. 실제로 그 팀이 한 해 동안 가장 어려운 일을 해냈다면 최고 등급이 셋이어도 그대로 남습니다. 비율부터 정해 놓고 시작하면 회의는 누구를 떨어뜨릴지 고르는 자리가 되고, 관리자들은 다음 주기부터 애초에 등급을 높여 제출해 깎일 몫을 미리 만들어 둡니다.

목소리 큰 관리자가 이긴다는 말도 자주 나옵니다. 근거 없이 설명만 길게 하는 사람이 자기 팀원을 지켜 내는 장면이 실제로 나오기 때문입니다. 이건 캘리브레이션 자체의 성질이라기보다 진행이 무너진 결과입니다. 발언 시간을 사람당으로 끊고, 근거를 사실 단위로만 받고, 진행자가 "그건 근거가 아니라 인상입니다" 라고 끊어 주면 줄어듭니다. 그대로 두면 회의는 설득 대회가 되고, 구성원 입장에서는 팀장의 말솜씨가 등급을 정하는 셈이 됩니다.