AI 편향

서류를 고르고 한도를 정하는 일을 사람이 하던 시절에는 결과가 한쪽으로 쏠려도 원인을 개인에게 물었습니다. 저 면접관이 특정 학교 출신을 좋아한다거나 저 심사역이 유독 깐깐하다는 식으로 설명이 끝났고, 사람을 바꾸면 결과도 달라질 거라 여겼습니다.

판단을 모델에 넘기면서 그 설명이 통하지 않게 됐습니다. 기계는 기분이 없으니 더 고르게 볼 것이라는 기대가 먼저 있었는데, 실제로는 같은 쏠림이 더 빠르고 더 일관되게 반복됐습니다. 사람 심사역은 하루에 서른 건을 보지만 모델은 같은 기준으로 3만 건을 봅니다.

이 문제에 이름이 없던 동안에는 모두 성능 이야기로만 다뤘습니다. 회의에서 "이 모델 믿어도 되나요" 하고 물으면 "정확도 92퍼센트입니다" 라는 답이 돌아왔고, 그 자리에서 더 물을 말이 없어 다음 안건으로 넘어갔습니다. 92퍼센트라는 하나의 숫자가 어떤 집단에는 96퍼센트이고 어떤 집단에는 71퍼센트라는 사실은 숫자를 쪼개 보기 전에는 화면에 나타나지 않습니다.

AI 편향은 그 쪼개 보는 일에 붙은 이름입니다. 밖에서 선을 긋는 법규와 제품 안에 확인 장치를 넣는 원칙 사이에서, 실제로 무엇이 어떻게 터지는지를 가리키는 자리에 놓입니다.

모델은 과거 기록에서 규칙을 뽑아내는 방식으로 만들어지기 때문에, 기록이 한쪽으로 기울어 있으면 그 기울기까지 규칙으로 배웁니다. 세 단계를 거칩니다.

1. 기울어진 자료가 학습에 들어갑니다. 지난 5년 서류 합격자의 82퍼센트가 한쪽 성별이었다면 그 명단이 그대로 학습 자료가 됩니다. 명단은 의견이 아니라 사실 기록이라서, 자료를 모은 사람 가운데 누구도 차별할 뜻이 없었어도 기울기는 남아 있습니다.
2. 모델이 그 기울기를 점수로 옮깁니다. 모델은 합격과 같이 움직이는 값을 찾아 가중치를 매기는 장치입니다. 합격자의 82퍼센트가 한쪽 성별이면 그 성별은 합격 쪽으로 붙는 신호가 되고, 반대쪽은 감점 신호가 됩니다.
3. 새 지원서가 그 점수로 걸러집니다. 올해 지원한 사람은 그 5년과 아무 관계가 없지만, 5년치 기록에서 나온 기준으로 순위가 매겨집니다.

성별 칸을 지우면 되지 않느냐는 물음이 여기서 나오는데 대개 소용이 없습니다. 모델은 지워진 칸을 대신할 값을 찾아냅니다. 여자대학교 이름, 특정 동아리 활동, 병역 항목의 공백처럼 성별과 같이 움직이는 칸이 남아 있으면 모델은 그중 하나를 성별 대신 씁니다. 지운 것은 이름표뿐이고 그 이름표가 가리키던 정보는 다른 칸에 그대로 있습니다.

그래서 편향은 전체 정확도로는 보이지 않습니다. 지원서 1만 건을 채점한 모델의 전체 정확도가 92퍼센트여도, 집단을 나눠 다시 세면 한쪽은 96퍼센트이고 다른 쪽은 71퍼센트일 수 있습니다. 수가 많은 집단이 전체 숫자를 끌어올리기 때문입니다. 방 한가운데에서 잰 온도 하나로 그 방이 쾌적하다고 말하는 것과 같습니다. 난로 옆과 창가의 차이는 평균 안에서 지워집니다.

사람의 기회를 가르는 판단에 모델을 붙일 때 이 말이 나옵니다. 손을 대는 자리는 셋입니다.

1. 기능을 만들기 전 — 이 기능이 무엇을 결정하는지 먼저 적어 둡니다. 문서를 요약하는 기능과 지원서를 거르는 기능은 같은 모델을 써도 무게가 다릅니다. AI 규제법은 AI 를 쓰는 용도마다 위험 수준을 매기고 수준에 따라 다른 의무를 지우는 법제인데, 채용·대출·학사 심사처럼 한 사람의 기회를 가르는 용도는 가장 무거운 쪽에 들어갑니다.
2. 내보내기 전 — 집단별로 쪼개 성능을 다시 셉니다. 연령대·성별·지역처럼 결과가 갈릴 만한 기준으로 나눠 통과율과 정확도를 따로 냅니다. 실무에서는 한 집단의 통과율이 가장 높은 집단의 80퍼센트에 못 미치면 신호로 보고 원인을 찾습니다.
3. 돌아가는 동안 — 무슨 입력에 무슨 결과가 나갔는지 기록을 남기고, 결과가 무거운 판단에는 사람 개입 단계를 둡니다. 모델이 순위를 매기고 사람이 확인해 누르는 형태입니다. 여기에 모델 투명성이 따라옵니다. 이 순위가 무엇을 근거로 매겨졌는지 화면에 적어 두지 않으면 확인하는 사람도 그냥 위에서부터 처리하게 됩니다.

"이 기능 고위험으로 잡히면 출시 전에 편향 점검 문서부터 만들어야 해요."

용도 분류가 먼저이고 거기서 준비할 서류가 정해진다는 뜻입니다.

"전체 정확도 말고 집단별로 쪼개서 다시 뽑아 주세요."

평균 하나로는 판정할 수 없으니 나눠 보자는 요청입니다.

"성별은 입력에 안 넣었는데도 결과가 갈리는데요."

대리 노릇을 하는 다른 칸이 있는지 찾아보자는 말입니다.

페이지덱에서는 고객 문의를 급한 순서로 자동 정렬하는 기능에서 이 문제가 났습니다. 태오가 지난 2년 상담 기록으로 모델을 학습시켰는데, 그동안 기업 고객 문의를 먼저 처리해 온 기록이 그대로 들어갔습니다. 요금제 항목은 입력에서 빼 뒀지만 문의에 붙은 첨부 파일 수와 계정 생성 시점이 그 자리를 대신했고, 무료 플랜 사용자의 문의는 목록 아래쪽에 고정됐습니다.

수아가 먼저 알아챘습니다. 무료 플랜 고객의 문의가 사흘째 답을 못 받고 있는데 담당자들은 목록 위에서부터 성실히 처리하고 있었습니다. 규원은 기능을 끄는 대신 순위 근거를 화면에 함께 띄우고, 하루에 한 번 아래쪽 문의를 사람이 훑는 단계를 넣기로 했습니다.

민감한 항목을 입력에서 빼면 편향이 사라진다고 읽는 경우가 가장 많습니다. 성별과 나이를 안 넣었으니 그것으로 가를 방법이 없다는 생각이고, 입력 목록만 놓고 보면 맞는 말처럼 보입니다. 실제로는 모델이 남은 칸을 조합해 그 값을 다시 만들어 냅니다. 게다가 그렇게 빼 두면 나중에 점검할 자료까지 없어집니다. 성별을 아예 받지 않았으니 집단별로 쪼개 볼 기준이 없고, 문제가 있는지조차 확인하지 못하는 상태로 기능이 계속 돌아갑니다.

편향을 만든 쪽의 실수로 읽는 경우도 흔합니다. 누가 자료를 잘못 골랐거나 코드를 잘못 짰다고 보면 원인이 분명해 보이기 때문입니다. 그러나 대부분의 편향은 실수 없이 만들어집니다. 회사가 지난 5년 동안 실제로 뽑은 사람의 명단은 조작된 자료가 아니라 정확한 기록이고, 모델은 그 기록을 정확하게 배웁니다. 원인을 실수로 보면 대응도 담당자를 찾는 데서 끝나고, 정작 필요한 집단별 점검과 확인 단계는 계속 다음으로 밀립니다.