AI 규제 대응

기능에 AI 를 붙이는 일은 한동안 기술 결정이었습니다. 어떤 모델을 쓸지, 답이 몇 초 안에 오는지, 요금이 얼마나 나오는지를 개발팀이 정하면 그대로 나갔습니다. 법무가 볼 대목이 있다고 생각한 사람이 없었습니다. 계약서와 약관에 적힌 문장은 회사가 짠 프로그램이 정해진 대로만 동작한다는 전제 위에 쓰여 있었고, 그 전제 안에서는 물어볼 것도 없었기 때문입니다.

페이지덱에서 그 전제가 깨진 날은 수아가 기업 고객의 보안 질문지를 들고 온 날이었습니다. 회의록 문서 요약 기능을 내보낸 지 두 달쯤 지난 때였습니다. 질문지의 한 항목은 이랬습니다. 요약 기능에 들어간 고객 문서가 모델을 만든 외부 회사의 학습에 쓰이는지 답하라. 태오는 답을 몰랐습니다. 규원이 안 쓴다고 적으면 되지 않느냐고 물었지만 그 한 줄을 뒷받침할 근거가 회사 안에 없었습니다. 그날 저녁에 모델 제공사의 약관을 처음 끝까지 읽었고, 유료 등급은 입력을 학습에 쓰지 않지만 페이지덱이 붙여 둔 것은 개발용 무료 등급이라는 사실을 확인했습니다.

한 항목이 풀리자 뒤따라 나온 질문이 더 많았습니다. 고객 문서가 다른 회사의 서버로 넘어간다는 사실을 개인정보처리방침에 적어 두었는지, 남의 손에 처리를 맡길 때 맺어야 하는 처리 위탁 계약이 그 회사와 되어 있는지, 요약문에 회의 참석자의 이름과 소속이 섞여 들어가는데 그것을 개인정보 보호 기준에서 어떻게 볼지가 차례로 걸렸습니다. 어느 것도 기능을 만든 사람이 결정할 수 있는 일이 아니었고, 그렇다고 법무가 기능을 보지 않고 답할 수 있는 일도 아니었습니다.

질문지는 결국 두 달 뒤에 돌려보냈습니다. 그사이에 바뀐 것은 기능이 아니라 기능을 둘러싼 문장들이었습니다. 요금제를 유료 등급으로 옮기고, 약관에 없던 한 줄을 넣고, 어떤 문서가 어느 회사로 언제 넘어갔는지를 남기는 기록을 붙였습니다.

AI 규제 대응은 이 사이에 생긴 이름입니다. 앞의 질문들은 하나씩 보면 개인정보 문제이고 계약 문제이고 고지 문제이지만, 한꺼번에 몰려온 이유는 같습니다. 회사가 통제하지 못하는 판단을 제품 안에 들여놓았기 때문입니다. 이 분야는 아직 기준이 굳는 중이라 완성된 규정집을 만들 수가 없습니다. 지금 할 수 있는 일은 무엇을 하지 않기로 했는지를 문서로 적어 두고 그 선을 지키는 것, 그리고 선이 움직일 때마다 제품과 계약을 같이 옮기는 것입니다.

이 이름 아래 묶인 용어는 세 갈래입니다. 밖에서 선을 긋는 것이 법규이고, 안에서 실제로 터지는 문제가 쟁점이고, 그 문제를 막으려고 제품에 집어넣는 장치가 원칙입니다. 세 갈래를 이 순서로 보면 규칙이 어디서 와서 어디로 가는지가 한 줄로 이어집니다.

법규는 국가가 정한 하한선을 다루는 갈래입니다. AI 규제법은 AI 를 쓰는 방식마다 위험 수준을 매기고 수준에 따라 다른 의무를 지우는 법제입니다. 기술이 아니라 용도를 기준으로 나눈다는 점이 이 법의 성격입니다. 같은 모델로 만든 기능이라도 문서를 요약하는 데 쓰면 가벼운 의무만 붙고, 채용 서류를 거르거나 대출 여부를 정하는 데 쓰면 훨씬 무거운 의무가 붙습니다. 한 사람의 생활이 그 판단으로 흔들리기 때문입니다.

의무의 층은 대개 셋으로 나뉩니다.

1. 아예 못 쓰는 용도 — 사람의 감정을 몰래 읽어 내거나 온라인에 흩어진 얼굴 사진을 긁어모아 신원 조회용 목록을 만드는 일처럼, 쓰임 자체가 금지된 자리입니다. 조건을 갖추면 된다는 여지가 없습니다.
2. 조건을 갖춰야 쓰는 용도 — 채용·대출·학사 심사처럼 사람의 기회를 가르는 판단입니다. 어떤 자료로 만들었는지 적어 두고, 사람이 확인할 자리를 만들고, 무슨 입력에 무슨 결과가 나갔는지 기록을 남겨야 합니다.
3. 알리기만 하면 되는 용도 — 요약과 초안 작성처럼 결과가 가벼운 자리입니다. 사람이 아니라 AI 가 만든 것이라는 사실만 밝히면 됩니다.

우리 기능이 어느 층에 들어가는지는 모델이 아니라 그 기능이 무엇을 결정하는지가 정합니다. 유럽이 먼저 이런 형태의 법을 만들었고 다른 나라들이 뒤따르고 있어서, 팔려는 시장이 여럿이면 가장 엄한 곳에 맞춰 한 벌로 만들어 두는 편이 나중에 덜 고칩니다.

쟁점은 실제로 사고가 나는 자리를 다루는 갈래입니다. 둘입니다.

1. 학습 데이터 권리 — 모델을 학습시킬 때 쓴 자료에 붙은 저작권과 이용 범위 문제입니다. 방향이 둘이라 헷갈리기 쉽습니다. 하나는 남이 만든 모델이 우리 고객의 자료를 학습에 쓰는 쪽이고, 다른 하나는 그 모델이 학습한 남의 자료가 우리 제품의 출력에 섞여 나오는 쪽입니다. 앞의 사고는 고객과의 약속을 깨고, 뒤의 사고는 남의 권리를 건드립니다. 페이지덱이 무료 등급에서 유료 등급으로 옮긴 것이 앞쪽 사고를 막은 일입니다.
2. AI 편향 — 학습에 쓴 자료가 한쪽으로 치우쳐 있어서 결과가 특정 집단에 불리하게 나오는 문제입니다. 모델은 과거 기록에서 규칙을 뽑아내므로, 과거가 고르지 않았으면 그 불균형을 그대로 배웁니다. 지난 5년 합격자가 대부분 한쪽 성별이었던 회사가 그 기록으로 지원서 선별을 자동화하면, 모델은 합격을 그 성별과 묶어 배우고 새 지원서를 같은 기준으로 거릅니다. 성별 칸을 지워도 소용없는 경우가 많습니다. 학교나 동아리 이름처럼 성별과 같이 움직이는 다른 값이 남아 있으면 모델이 그것을 대신 씁니다.

원칙은 앞의 문제를 제품 설계로 막는 갈래입니다. 둘입니다.

1. 모델 투명성 — AI 가 관여했다는 사실과 그 답이 무엇에 근거했는지를 사용자에게 밝히는 일입니다. 요약문 위에 자동으로 만들어진 문서라고 적고, 문장마다 원본 회의록의 어느 대목에서 나왔는지를 짚어 주는 식입니다. 이 표시가 필요한 이유는 환각 때문입니다. 모델은 사실이 아닌 내용도 맞는 답과 똑같이 자신 있는 문장으로 내놓기 때문에, 읽는 사람이 어디를 의심해야 할지 스스로 알 수 없습니다.
2. 사람 개입 — 결과가 무거운 판단에는 사람이 확인하고 누르는 단계를 남겨 두는 설계입니다. 모델이 초안을 만들고 사람이 승인하는 형태가 가장 흔합니다. 요약문에 오타가 섞이는 것과 환불 요청이 자동으로 거절되는 것은 같은 고장이 아니므로, 어떤 판단을 이 단계에 넣을지는 기능을 만들기 전에 정해 둡니다. 나중에 끼워 넣으면 이미 자동으로 돌아가던 일을 멈춰 세워야 합니다.

세 갈래는 한 방향으로 흐릅니다. 법규가 반드시 넘어야 할 선을 긋고, 쟁점이 그 선을 넘게 만드는 실제 원인을 알려 주고, 원칙이 제품 안에서 그 원인을 막습니다. 대상이 되는 기능 자체를 만드는 일은 AI 개발이 다루고, 이 갈래는 그 기능이 밖으로 나갈 수 있는지를 봅니다.

"이 기능은 AI 규제 대응 검토부터 받고 붙이죠. 고객 문서가 우리 서버 밖으로 나가는 구조라서요."

기능이 잘 동작하느냐와 별개로, 데이터가 어디까지 가는지부터 확인하자는 제안입니다.

"우리가 AI 규제 대응을 다 해 뒀다는 게 아니라, 무엇을 안 하기로 했는지는 문서로 갖고 있다는 뜻입니다."

규정집이 아직 없는 회사가 질문지나 실사 자리에서 쓰는 현실적인 답입니다.

"이 판단은 자동으로 못 돌립니다. AI 규제 대응 쪽에서 사람이 한 번 보게 되어 있어요."

고객의 돈이나 계약에 영향을 주는 결정이라 확인 단계가 설계에 들어가 있다는 말입니다.

질문지 사건 뒤로 페이지덱에서는 지현이 AI 기능 기획서에 네 줄짜리 항목을 고정으로 넣습니다. 입력이 어디로 가는지, 그쪽이 그것을 학습에 쓰는지, 고객에게 무엇을 어디에 알리는지, 답이 틀렸을 때 누가 되돌리는지입니다. 태오가 앞의 두 줄을 채우고 규원이 계약과 고지 쪽을 확인합니다. 네 줄이 다 차지 않으면 기능은 개발이 끝나 있어도 나가지 않습니다. 가장 자주 비는 칸은 마지막 줄입니다. 답이 틀렸을 때 되돌리는 방법은 기능을 만드는 동안 아무도 묻지 않아서, 대개 고객이 먼저 틀린 답을 발견해 알려 온 뒤에야 정해집니다.

수아는 이 문서를 영업 자료처럼 씁니다. 기업 고객이 같은 질문을 할 때마다 처음부터 알아보는 대신 항목을 그대로 옮겨 답하고, 답할 수 없는 항목이 나오면 그 자리에서 약속하지 않고 확인해서 회신합니다. 답변 자체도 분기마다 한 번 다시 훑습니다. 모델 제공사가 약관을 고치면 지난 분기에 사실이던 답이 이번 분기에는 틀린 답이 되기 때문입니다. 규원이 분기마다 확인하는 것은 두 가지입니다. 지난 분기에 하지 않기로 적어 둔 일을 실제로 하지 않았는지, 그리고 그 선을 바꿀 만한 법이나 계약 변경이 있었는지입니다.

모델을 직접 만들지 않으니 우리와는 상관없는 일이라고 보는 경우가 가장 많습니다. 뉴스에 나오는 규제 이야기가 대개 거대한 모델을 만드는 회사를 겨냥하고 있어서 그렇게 읽히기 쉽습니다. 그러나 이 분야의 규칙은 모델을 누가 만들었는지가 아니라 그 모델이 어떤 용도로 누구에게 닿는지를 기준으로 걸립니다. 고객 화면에 기능을 내놓은 쪽은 만든 회사가 아니라 우리이고, 고객과 계약을 맺은 쪽도 우리입니다. 이 오해를 그대로 두면 사고가 났을 때 순서가 뒤집힙니다. 고객은 모델 제공사가 아니라 우리에게 묻고, 우리가 들이밀 수 있는 것은 제공사 약관 한 장뿐인데 그 약관은 고객과 우리 사이의 약속을 대신해 주지 않습니다.

법이 확정되면 그때 맞추자고 미루는 것도 자주 나옵니다. 기준이 나라마다 다르고 해마다 바뀌니 기다렸다가 한 번에 맞추는 편이 싸 보입니다. 하지만 이 일은 나중에 소급해서 만들 수 없는 부분을 갖고 있습니다. 이미 외부 모델로 넘어간 문서는 회수할 수 없고, 동의 없이 받은 자료를 나중에 적법하게 만들려면 가입자 전체에게 다시 물어야 하며, 어떤 입력이 어디로 갔는지 기록해 두지 않았으면 무슨 일이 있었는지조차 설명하지 못합니다. 미룬 대가는 법이 시행되는 날 한꺼번에 옵니다. 처음부터 해 뒀으면 고지 문구 한 줄과 계약서 별지 한 장으로 끝났을 일이, 수십만 명에게 다시 동의를 받고 기능을 몇 주 꺼 두는 일로 바뀝니다.