AI 규제법

AI 기능을 붙이는 일은 한동안 개발 문제이기만 했습니다. 모델을 불러다 화면에 연결하면 동작했고, 잘 되는지는 품질의 문제였지 허락의 문제가 아니었습니다. 개인정보를 다루는 규칙은 이미 있었지만 그건 자료를 어디에 어떻게 보관하느냐에 대한 규칙이었고, 기계가 사람 대신 판단을 내리는 상황 자체를 다루지는 않았습니다.

그래서 논의는 늘 같은 자리에서 멈췄습니다. 태오가 "이력서 검토를 모델에 맡기면 심사 시간이 반으로 줄어요" 라고 하면 규원이 "법적으로 문제 없나요" 하고 묻고, 아무도 확실히 답하지 못한 채 "일단 조심해서 가죠" 로 끝났습니다. 조심하자는 말에는 기준이 없어서 같은 회사 안에서도 어떤 팀은 고객 문서를 모델에 그대로 넣고 어떤 팀은 아무것도 시작하지 못했습니다.

AI 규제법은 이 질문에 국가가 답을 적어 둔 것입니다. 답을 적는 방식이 이 법의 성격을 정합니다. 어떤 기술을 썼는지가 아니라 그 기능이 사람에게 무엇을 하는지를 기준으로 층을 나눕니다. 그래서 같은 모델을 불러 쓴 두 기능이 서로 다른 의무를 집니다.

기능마다 위험 수준을 매기고 수준별로 다른 의무를 지우는 방식으로 돌아갑니다. 수준을 정하는 것은 모델의 성능이 아니라 그 기능이 한 사람의 생활에 얼마나 개입하는지입니다. 벽돌이 같아도 창고와 어린이집의 소방 기준이 다른 것과 같습니다. 재료가 아니라 안에서 무슨 일이 벌어지는지가 기준입니다.

의무의 층은 대개 셋으로 나뉩니다.

1. 아예 못 쓰는 용도 — 사람의 감정을 몰래 읽어 내거나 인터넷에 흩어진 얼굴 사진을 긁어모아 신원 조회용 목록을 만드는 일입니다. 조건을 갖추면 된다는 여지가 없어서 설계를 고쳐도 통과할 길이 없습니다.
2. 조건을 갖춰야 쓰는 용도 — 채용·대출·학사 심사처럼 한 사람의 기회를 가르는 판단입니다. 무슨 자료로 만들었는지 적어 두고, 사람이 결과를 확인하고 승인하는 사람 개입 단계를 남기고, 무슨 입력에 무슨 결과가 나갔는지 기록을 보관해야 합니다.
3. 알리기만 하면 되는 용도 — 회의록 요약이나 초안 작성처럼 결과가 가벼운 자리입니다. 사람이 아니라 AI 가 만들었다는 사실을 밝히는 모델 투명성 표시 하나면 끝납니다.

층이 갈리는 지점은 생각보다 가깝습니다. 회의록 열 장을 다섯 줄로 줄여 주는 기능은 3층이지만, 같은 모델에 지원서를 넣어 상위 20명을 고르게 하면 2층입니다. 모델도 같고 코드도 비슷한데 앞쪽은 표시 한 줄로 끝나고 뒤쪽은 자료 목록과 확인 절차와 기록 보관을 함께 갖춰야 합니다.

2층에 유독 무거운 의무가 붙는 이유는 그 자리에서 실제로 사고가 나기 때문입니다. 학습에 쓴 자료가 한쪽으로 치우쳐 결과가 특정 집단에 불리하게 나오는 AI 편향이 대표적이고, 모델 학습에 쓴 자료의 저작권 범위를 다투는 학습 데이터 권리 문제도 같은 층에서 터집니다. 자료 목록을 적어 두라는 의무는 사고가 난 뒤 원인을 되짚을 수 있게 하려는 장치입니다.

유럽이 이런 형태의 법을 먼저 만들었고 다른 나라들이 뒤를 따르고 있습니다. 팔려는 시장이 여럿이면 가장 엄한 곳에 맞춰 한 벌로 만들어 두는 편이 나중에 덜 고칩니다.

기능을 만들기 전에 그 기능이 어느 층에 들어가는지 정하는 자리에서 가장 먼저 나옵니다. 기획 문서에 "이 기능이 무엇을 결정하는가" 한 줄을 적고, 그 답이 사람의 기회를 가르는 판단이면 일정에 검토와 기록 보관을 미리 넣습니다. 다 만든 뒤에 물으면 이미 자동으로 돌아가는 기능을 멈춰 세워야 합니다.

그다음으로 자주 나오는 자리는 기업 고객과의 계약입니다. 보안 질의서에는 AI 기능의 위험 등급과 표시 방식을 묻는 문항이 들어 있고, 답을 못 하면 계약이 그 문항 앞에서 멈춥니다. 수아가 답변을 만들려고 태오를 찾아오는 일이 여기서 생깁니다.

출시 직전 점검에서도 한 번 더 나옵니다. 화면에 표시 문구가 붙었는지, 모델이 그럴듯하지만 사실이 아닌 답을 내놓는 환각을 사용자가 알아챌 수 있게 근거를 함께 보여 주는지, 기록이 실제로 쌓이고 있는지를 확인합니다. 기능을 만드는 일 자체는 AI 개발이 맡고, 이 법은 그렇게 만든 기능이 밖으로 나갈 수 있는지를 봅니다.

"이거 고위험으로 잡히면 출시가 한 달 밀려요. 자동으로 정하지 말고 추천만 하게 바꿀 수 있을까요?"

의무를 다 갖추는 대신 기능의 역할을 낮춰 층을 내리자는 제안입니다.

"유럽 고객이 이 기능 위험 등급을 물어봤는데, 회사 차원의 답변 기준이 있나요?"

건마다 답이 달라지지 않게 분류 기준을 문서로 만들어 두자는 요청입니다.

"요약은 표시만 붙이면 되는데, 자동 반려는 그렇지 않습니다."

같은 모델을 쓰더라도 결과가 사람에게 미치는 영향이 다르면 의무도 다르다는 뜻입니다.

페이지덱에서 이 말이 본격적으로 오간 것은 회의록에서 담당자와 기한을 뽑아 업무를 자동 배정하는 기능을 논의할 때였습니다. 지현은 요약 기능과 같은 구조라고 봤지만, 규원이 "배정된 사람이 그 결정을 되돌릴 수 있나요" 하고 물으면서 이야기가 달라졌습니다. 업무 배정은 고과에 닿는 판단이라 요약과 같은 층으로 두기 어려웠습니다.

결론은 기능을 접는 것이 아니라 역할을 바꾸는 쪽이었습니다. 자동 배정 대신 후보를 제안하고 팀장이 누르게 하니 규제 검토가 통째로 빠졌습니다.

남의 모델을 가져다 쓰면 책임도 만든 쪽에 있다고 생각하기 쉽습니다. 모델을 학습시킨 것도 아니고 정해진 방식으로 불러 쓸 뿐이니 자연스러운 오해입니다. 하지만 의무는 모델이 아니라 용도에 붙고, 용도를 정한 쪽은 그 기능을 만들어 파는 회사입니다. 이 오해를 안고 가면 문제가 터진 뒤 모델 제공사에 확인하겠다는 답으로 시간을 보내게 되고, 그사이 기능은 그대로 돌아갑니다.

유럽 법이니 한국 회사와는 상관없다는 생각도 자주 나옵니다. 실제로는 유럽 사용자에게 서비스를 팔면 적용되고, 그 전에 기업 고객의 보안 질의서가 먼저 묻습니다. 유럽의 개인정보 보호 규정인 GDPR이 한국 회사들의 가입 화면과 약관 양식을 이미 바꿔 놓은 것과 같은 경로입니다.