답변 추출성

검색이 링크 목록만 돌려주던 시절에는 글을 통째로 읽히는 것이 목표였습니다. 독자가 제목을 눌러 들어와 위에서 아래로 읽으니, 세 번째 문단이 앞의 두 문단에 기대고 있어도 뜻이 통했습니다. "앞서 말한 두 가지 중 뒤엣것이 여기에 해당합니다" 로 시작하는 문단도 순서대로 읽는 사람에게는 불편하지 않았습니다. 검색 엔진 최적화, 곧 검색 결과에서 더 잘 노출되도록 사이트를 다듬는 일도 클릭을 받아 내는 데까지만 신경 쓰면 됐습니다.

AI 개요가 붙으면서 읽는 쪽이 바뀌었습니다. AI 개요는 검색 결과 맨 위에 모델이 요약해 놓는 답변 영역이고, 그 아래에 근거로 쓰인 사이트가 몇 개 달립니다. 모델은 페이지를 위에서 아래로 읽어 주지 않습니다. 질문에 맞는 덩어리 하나를 골라 떼어 가고, 떼어 낸 덩어리만으로 말이 되지 않으면 그 문서를 버리고 다른 문서를 집습니다.

그래서 잘 쓴 글이 인용되지 않는 일이 생깁니다. 페이지덱의 도움말 문서는 "문서 권한 바꾸기" 라는 검색어에서 늘 첫 페이지에 떴는데, 같은 질문을 모델에 물으면 근거로는 다른 회사 문서가 달렸습니다. 문제가 된 문단은 "이 경우에는 앞의 방법을 그대로 쓰면 됩니다" 로 시작하고 있었습니다. 사람에게는 자연스럽고, 떼어 놓으면 아무 답도 되지 않는 문장입니다.

모델은 문서를 통째로 쓰지 않고 소제목과 문단 단위로 잘라 둔 뒤 질문에 맞는 조각을 꺼내 답을 조립합니다. 추출성은 그 조각이 홀로 남았을 때에도 답인지를 따집니다.

조각이 홀로 서려면 세 가지가 문단 안에 들어 있어야 합니다.

1. 주어 — 무엇에 대한 이야기인지가 그 문단 안에 적혀 있습니다. "이 기능은 관리자만 켤 수 있습니다" 는 앞 문단을 봐야 무슨 기능인지 알지만, "공유 링크 만료 설정은 관리자만 켤 수 있습니다" 는 그대로 답이 됩니다.
2. 조건 — 언제 그런지가 같이 붙어 있습니다. "만료 기간은 무료 플랜에서 최대 30일, 유료 플랜에서 최대 1년입니다" 처럼 적용 범위를 뒤 문단으로 미루지 않습니다.
3. 결론 먼저 — 첫 문장이 답입니다. 배경을 두 문장 깔고 세 번째 문장에서 답하면, 앞쪽만 떼어 간 조각은 답이 아니라 서론으로 남습니다.

세 가지를 한꺼번에 무너뜨리는 것은 지시어입니다. "이", "그", "앞서 말한", "위의 방법" 같은 말은 앞 문단이 옆에 붙어 있을 때만 작동합니다. 한 문단에 지시어가 둘 넘게 들어 있으면 그 문단은 대개 떼어 낼 수 없습니다.

형식은 자르는 선을 정합니다. 소제목 없이 2천 자가 이어지는 글은 모델이 어디서 끊을지 스스로 정해야 하고, 그 선이 문단 한가운데를 지나면 조각이 반쪽으로 남습니다. 질문형 소제목을 달고 바로 아래 첫 문단에서 답하면 자르는 선과 답의 경계가 같아집니다. 표와 번호 목록도 같은 일을 합니다.

손대는 자리는 정해져 있습니다. 사람들이 질문의 형태로 검색하는 문서부터입니다.

1. 도움말 문서 — "어떻게 하나요" 가 그대로 검색어가 되는 자리라서 가장 먼저 봅니다. 절차를 적을 때는 첫 문장에 결과를 적고 그다음에 단계를 나열합니다.
2. 가격 페이지 — "얼마인가요", "무료 플랜에서 몇 명까지 되나요" 같은 질문이 몰립니다. 숫자를 표 안에만 넣어 두고 문장으로 한 번도 쓰지 않으면, 표를 못 집어 간 조각에는 답이 남지 않습니다.
3. 기능 소개 글 — 다른 제품과 비교하는 대목이 특히 인용됩니다. 어느 쪽이 낫다고 적는 대신 무엇이 어떻게 다른지를 한 문단 안에서 끝냅니다.

점검은 손으로 합니다. 문단 하나를 복사해 빈 문서에 붙여 놓고 읽었을 때 답이 되면 통과이고, 앞을 찾게 되면 고쳐야 할 문단입니다. 구조화 데이터처럼 어느 덩어리가 질문이고 어느 덩어리가 답인지 기계가 알아보게 붙이는 표기를 더하면 자르는 선이 또렷해지지만, 표기보다 문장이 먼저입니다. 홀로 서지 못하는 문단에 이름표만 붙이면 모델이 더 정확하게 쓸모없는 조각을 집어 갑니다.

"이 문단 추출성이 없어요. 앞 문단을 읽어야 무슨 기능인지 알잖아요."

지시어를 걷어내고 주어를 문단 안에 다시 넣자는 요청입니다.

"소제목을 질문형으로 바꾸고 바로 아래 첫 문장에서 답합시다."

모델이 자르는 선과 답이 있는 자리를 맞추자는 말입니다.

"순위는 그대로인데 인용이 안 붙어요. 추출성부터 보죠."

노출은 되는데 발췌가 되지 않는 상태라 글의 구조를 의심한다는 뜻입니다.

페이지덱에서는 현우가 도움말 문서 60편을 놓고 문단마다 빈 문서에 붙여 보는 일을 한 주 동안 했습니다. 고칠 문단은 한 유형에 몰려 있었습니다. 화면 이름이 바뀔 때마다 "새 이름" 으로만 적어 두고 무엇의 새 이름인지는 앞 문단에 두고 온 글들이었습니다. 60편에서 고친 문단은 마흔 개가 되지 않았는데, 두 달 뒤 AI 개요에 근거로 달린 횟수가 세 배가 됐습니다.

현우가 이 작업을 검색 순위 작업과 따로 부르는 까닭은 손대는 곳이 다르기 때문입니다. 순위는 어떤 글을 쓸지의 문제이고, 추출성은 이미 있는 글의 문단을 어디서 끊을지의 문제입니다.

짧게 쓰면 추출성이 올라간다고 보는 경우가 가장 많습니다. 발췌되는 조각이 짧으니 문단도 짧아야 할 듯하고, 짧은 문단이 잘 뽑히는 사례도 눈에 띕니다. 하지만 기준은 길이가 아니라 자족성입니다. "그건 안 됩니다" 라는 한 줄짜리 문단은 짧아도 무엇이 안 되는지가 없어 답이 못 되고, 조건과 예외까지 담은 다섯 줄짜리 문단은 길어도 그대로 답이 됩니다. 길이를 기준으로 삼으면 문서가 토막만 남고, 토막 난 문단은 주어를 앞 문단에 두고 오게 되어 추출성이 오히려 떨어집니다.

사람 독자를 버리고 기계에 맞추는 일이라는 오해도 자주 나옵니다. 문단마다 주어를 다시 적고 결론을 앞에 두면 글이 딱딱해질 것 같아 생기는 걱정입니다. 실제로는 도움말 문서에 검색으로 들어와 한 대목만 읽고 나가는 사람이 대부분이라, 홀로 서는 문단은 그 사람에게도 그대로 도움이 됩니다. 이 걱정 때문에 손대지 않으면 모델에 인용되지도 않고 중간에 들어온 사람도 위로 거슬러 올라가 읽어야 하는 문서가 남습니다.