사람 개입

모델을 기능에 붙이는 일이 쉬워지면서, 어디까지 자동으로 내보낼지를 정하지 않은 채 연결부터 하는 일이 늘었습니다. 분류도 되고 초안도 나오니 사람 손을 빼는 쪽이 당연해 보였습니다.

문제는 모델이 틀리는 방식에 있습니다. 모델은 사실이 아닌 답을 맞는 답과 똑같이 자신 있는 문장으로 내놓습니다. 이 환각 때문에 결과만 봐서는 틀린 건이 표시가 나지 않고, 그대로 내보내는 구조에서는 잘못이 고객에게 그냥 도달합니다. 고객 문의를 자동으로 분류해 응답까지 내보내던 팀이 환불 요청 하나를 안내 문의로 잘못 읽고 문서 링크를 보낸 뒤, 그 사실을 고객의 항의 글을 보고서야 알게 되는 식입니다.

여기에 법이 겹쳤습니다. 위험 수준에 따라 AI 활용을 규율하는 AI 규제법은 사람의 기회를 가르는 용도를 따로 묶어 더 무거운 의무를 지웁니다. 채용 서류를 거르거나 대출 여부를 정하는 자리가 여기 들어가고, 그 의무 중 하나가 사람이 확인할 자리를 두는 것입니다. 모델이 왜 그렇게 판단했는지 설명하기 어려운 만큼 남는 방법은 결과가 나가기 전에 사람이 한 번 보는 것뿐이었습니다.

어떤 판단을 사람이 볼지 고르는 데서 시작합니다. 전부 보겠다고 하면 기능이 돌지 않고, 정하지 않으면 전부 자동으로 나갑니다. 다섯 단계입니다.

1. 판단을 갈라 둡니다. 기준은 둘입니다. 잘못 나갔을 때 되돌릴 수 있는지, 그리고 그 결과가 한 사람의 권리나 기회를 건드리는지. 요약문의 오타는 고치면 그만이지만 계약 해지 통보는 되돌릴 수 없습니다.
2. 모델이 결과만 내지 않고 근거를 함께 내게 합니다. 어느 문장에서 나온 판단인지, 얼마나 확신하는지를 같이 받습니다. 근거가 없으면 확인하는 사람이 처음부터 다시 읽어야 해서 시간이 배로 듭니다.
3. 확인 화면을 만듭니다. 원문과 모델의 제안을 나란히 놓고, 고쳐서 내보낼 수 있는 입력칸과 되돌려 보낼 버튼을 둡니다. 승인과 반려 둘뿐인 화면은 고치면 될 건까지 반려로 밀어냅니다.
4. 결정을 기록합니다. 누가 언제 무엇을 승인했고 무엇을 고쳤는지 남깁니다. 규제가 요구하는 것도 이 기록이고, 다음 단계의 재료가 되는 것도 이 기록입니다.
5. 기록을 모아 되돌립니다. 사람이 자주 고치는 대목이 모델이 약한 대목이고, 반려가 한 번도 없는 구간은 자동으로 내보내도 되는 구간입니다.

되돌리기 어렵고 한 사람에게 크게 작용하는 판단에 맞습니다. 채용 서류 선별, 대출 심사, 계정 정지, 환불 거절, 회사 이름으로 밖에 나가는 문장이 그런 자리입니다. 반대로 건수가 많고 결과가 가벼운 일에는 맞지 않습니다. 하루에 수만 건 들어오는 문의를 분류하는 일을 전부 사람이 보면 자동화의 이유가 사라집니다.

한계는 셋입니다.

첫째는 확인이 형식만 남는 것입니다. 모델이 정확할수록 심해집니다. 아흔아홉 번 맞는 것을 본 사람은 백 번째도 읽지 않고 누릅니다. 승인률이 99퍼센트를 넘기 시작하면 사람이 보고 있는지부터 의심해야 합니다.

둘째는 병목입니다. 사람이 끼면 처리 시간이 분 단위에서 시간 단위로 늘고, 검토할 사람의 인건비가 그대로 운영 비용이 됩니다. 야간과 주말에 검토자가 없으면 그 시간 동안 일이 쌓입니다.

셋째는 책임이 개인에게 몰리는 것입니다. 사고가 나면 승인 버튼을 누른 사람의 이름이 기록에 남습니다. 그 사람에게 판단할 시간도 뒤집을 권한도 주지 않은 채 이름만 남게 해 두면, 확인 단계는 위험을 줄이는 장치가 아니라 위험을 떠넘기는 장치가 됩니다.

셋 다 설계로 줄입니다. 전수 검토 대신 위험이 큰 건과 모델이 확신하지 못한 건만 올리고, 반려율과 수정률을 지표로 놓고 보며, 검토자에게 뒤집을 권한과 그럴 시간을 함께 줍니다.

"이건 사람 개입 넣읍시다. 잘못 나가면 되돌릴 수가 없어요."

자동으로 내보내도 되는 판단과 아닌 판단을 나누자는 제안입니다.

"승인률이 99퍼센트면 보고 있는 게 아니라 그냥 누르는 거예요."

확인 단계가 남아 있긴 한데 실제로는 아무것도 걸러 내지 못한다는 지적입니다.

"이 기능 고위험으로 분류되면 사람 확인 단계가 법으로 필요해요."

기능의 용도 때문에 이 설계가 선택이 아니라 의무가 된다는 말입니다.

페이지덱이 고객 문의 자동 응답을 붙일 때 지현이 판단을 둘로 갈랐습니다. 사용법을 묻는 문의에 안내 문서를 찾아 보내는 일은 자동으로 나가게 두고, 환불과 계약 해지가 걸린 문의는 수아의 승인을 거치게 했습니다. 앞쪽은 틀려도 고객이 한 번 더 물으면 끝나지만 뒤쪽은 돈과 계약이 움직이기 때문입니다.

규원이 사내 채용에 서류 선별 도구를 검토할 때도 같은 이야기가 나왔습니다. 여기서는 선택지가 없었습니다. 지원자의 기회를 가르는 용도라 확인 단계와 기록이 의무였고, 학습 데이터의 치우침이 결과 차별로 이어지는 AI 편향까지 함께 점검해야 했습니다.

사람이 보기만 하면 안전해진다고 여기는 경우가 가장 많습니다. 확인 단계가 규제 문서의 항목으로 적혀 있다 보니 요건을 채웠는지만 따지게 되는 겁니다. 하지만 이 설계가 위험을 줄이는 것은 확인하는 사람이 실제로 틀린 건을 잡아낼 때뿐입니다. 근거도 없이 결과만 보여 주고 하루 600건을 처리하라고 하면 그 자리는 통과 도장이 됩니다. 이 상태를 그대로 두면 사고가 났을 때 절차는 있었는데 아무도 못 걸렀다는 기록만 남고, 그 기록에 이름이 적힌 개인이 책임을 뒤집어씁니다.

사람 개입을 자동화를 포기하는 일로 읽는 오해도 있습니다. 그렇게 보면 모델을 붙일 이유가 없어 보이니 아예 전부 자동으로 가거나 아예 쓰지 않는 쪽으로 기웁니다. 실제로는 사람이 일을 시작하는 자리가 백지에서 초안으로 옮겨 가는 설계입니다. 모델 출력이 벗어나지 않게 거는 가드레일 같은 장치로 확실히 걸러지는 구간을 먼저 줄여 두면, 사람은 판단이 갈리는 건에만 시간을 씁니다. AI 가 관여했다는 사실과 근거를 밝히는 모델 투명성도 같은 방향입니다. 무엇을 의심해야 할지 알려 주는 표시가 있어야 확인이 형식에 그치지 않습니다.