챗봇

문의는 하루 종일 들어오는데 답하는 사람은 업무 시간에만 있었습니다. 금요일 저녁 일곱 시에 결제가 막힌 고객은 월요일 오전까지 기다려야 했고, 그사이 같은 질문을 메일로 한 번 더 보냈습니다.

들어오는 질문의 모양도 늘 비슷했습니다. 비밀번호를 어떻게 바꾸는지, 팀원을 어떻게 초대하는지, 결제일이 언제인지가 매일 반복됐습니다. 담당자는 같은 문장을 하루에 열 번씩 다시 썼고, 고객 수가 두 배가 되면 이 반복도 두 배가 됐습니다. 사람을 늘려 받아 내면 고객이 늘수록 비용이 같은 기울기로 따라 오릅니다.

도움말 문서를 잘 써 두는 것으로는 다 풀리지 않았습니다. 문서는 찾아 들어가야 읽히는데, 막힌 고객은 문서를 뒤지는 대신 채팅 버튼부터 누릅니다. 챗봇은 그 버튼 뒤에 답을 먼저 놓아 두려고 만든 장치입니다. 고객이 이미 가 있는 자리에서 답을 건네자는 발상입니다.

가장 먼저 줄이는 것은 기다리는 시간입니다. 문의가 들어온 뒤 첫 답변까지 걸린 시간인 첫 응답 시간은 사람이 받으면 업무 시간에도 보통 몇십 분이고 밤이나 주말에는 열 시간을 넘깁니다. 챗봇이 받으면 언제 물어도 몇 초입니다. 완전한 답이 아니어도 효과가 있습니다. 접수됐다는 사실과 대략의 방향만 받아도 고객은 같은 질문을 다른 창구로 다시 보내지 않습니다.

두 번째는 반복 질문의 양입니다. 셀프서비스로 풀려서 아예 접수되지 않은 문의의 비율을 문의 감축이라고 하는데, 챗봇은 이 값을 올리는 쪽으로 일합니다. 하루 100건이 들어오던 제품에서 30건이 챗봇 선에서 끝나면 사람이 받는 건은 70건이 됩니다. 줄어든 30건은 대개 가장 쉬운 30건이라, 남은 70건의 평균 난이도는 올라가는 대신 담당자가 그 70건에 쓸 시간이 늘어납니다.

세 번째는 문서까지 가는 거리입니다. 고객이 스스로 찾아볼 수 있게 정리해 둔 문서 모음인 도움말 센터는 잘 만들어 둬도 읽히지 않는 일이 흔합니다. 검색창에 무슨 말을 넣어야 할지 모르기 때문입니다. 챗봇은 고객이 평소 쓰는 말로 물으면 그에 맞는 문서를 대신 찾아 띄웁니다. "팀원 추가가 안 돼요" 라고 치면 초대 권한 문서를 꺼내는 식입니다.

다만 셋 다 조건이 하나 붙습니다. 챗봇이 꺼낼 답이 어딘가에 쓰여 있어야 합니다. 문서가 얇으면 챗봇은 못 알아듣는 응답을 빠르게 반복하는 장치가 됩니다.

같은 문제를 푸는 방법은 챗봇 말고도 셋이 더 있고, 무엇을 고를지는 문의가 몇 건이고 얼마나 비슷한지로 갈립니다.

1. 자주 묻는 질문 — 반복되는 질문과 답을 한 화면에 모아 둔 문서입니다. 질문 종류가 열 개 안쪽이면 챗봇보다 이쪽이 낫습니다. 스무 개를 넘어가면 고객이 목록에서 자기 질문을 찾는 일 자체가 일이 됩니다.
2. 매크로 — 자주 쓰는 답변을 저장해 두고 담당자가 몇 번의 클릭으로 불러 쓰는 템플릿입니다. 답하는 사람은 여전히 필요하지만 한 건에 드는 시간이 줄고, 고객 상황에 맞춰 손볼 수 있어 답의 질이 유지됩니다. 문의가 많지 않고 건마다 사정이 다른 제품에 맞습니다.
3. 사람을 더 뽑는 방법 — 가장 확실하고 가장 비쌉니다. 문의 성격이 매번 다르거나 금액이 큰 기업 고객을 상대하는 제품에서는 이 선택이 합리적입니다. 접수된 문의 한 건을 뜻하는 지원 티켓이 하루 20건인 팀이라면 챗봇을 관리하는 품이 사람 한 명보다 클 수도 있습니다.

챗봇이 맞는 구간은 문의가 많고 그중 상당수가 서로 닮았을 때입니다. 하루 50건을 넘고 같은 질문 열 개가 절반 이상이면 붙일 값어치가 있습니다.

기술 쪽 선택지도 갈립니다. 정해진 질문에만 답하는 방식은 못 알아듣는 말이 많지만 엉뚱한 답을 하지 않습니다. 많은 텍스트로 학습해 언어를 다루는 대규모 언어 모델을 쓰면 표현이 달라도 알아듣지만, 문서에 없는 내용을 그럴듯하게 지어낼 위험이 함께 옵니다. 환불 규정이나 요금처럼 틀리면 곤란한 항목은 모델이 답을 만들게 두지 않고 정해진 문장을 꺼내 오게 막아 둡니다.

"챗봇 붙이기 전에 도움말부터 채우죠. 지금은 꺼낼 답이 없어요."

챗봇의 성능이 문서의 두께에 달려 있다는 판단입니다.

"챗봇 해결률이 30퍼센트인데 이 정도면 괜찮은 건가요?"

열 건 중 셋이 사람에게 안 넘어왔다는 뜻이고, 이 값이 낮으면 문서나 인식 쪽을 손봅니다.

"사람 연결 버튼을 첫 화면에 두세요. 두 번 막히면 고객은 그냥 나갑니다."

자동 응대를 고집하는 것보다 빠져나갈 길을 열어 두는 쪽이 낫다는 말입니다.

페이지덱에서는 무료 플랜 사용자가 늘면서 문의가 하루 40건에서 110건이 됐을 때 이 이야기가 나왔습니다. 수아가 한 달치 문의를 사유별로 세어 보니 초대와 권한에 대한 질문이 전체의 절반이었습니다. 지현은 챗봇보다 그 절반에 해당하는 문서를 다시 쓰는 일을 앞에 놓았습니다.

문서를 고친 뒤 태오가 챗봇을 붙였고, 자주 나오는 질문 열두 개를 알아듣게 한 다음 나머지는 바로 사람에게 넘기도록 했습니다. 첫 달 해결률은 34퍼센트였습니다. 수아는 챗봇이 넘긴 건의 첫 문장을 매주 읽으면서 못 알아들은 표현을 모았고, 그 목록이 다음 달 문서 수정 항목이 됐습니다.

챗봇을 붙이면 문의가 줄어든다고 생각하는 경우가 가장 많습니다. 도구를 설치하는 일이라 결과도 설치와 함께 온다고 보기 쉽습니다. 실제로 챗봇은 답을 만들어 내지 않고 이미 있는 답을 꺼내 옵니다. 문서가 얇은 상태에서 붙이면 고객은 못 알아듣는 응답을 두세 번 받은 뒤 사람을 찾고, 결국 한 건의 문의에 단계만 더 붙습니다. 해결률이 10퍼센트대에서 오르지 않는 챗봇은 대개 인식이 아니라 문서가 문제입니다.

사람을 대체하는 장치로 읽는 것도 흔합니다. 도구를 넣었으니 인원을 줄일 수 있다는 계산이 자연스럽게 따라옵니다. 하지만 챗봇이 걷어 가는 것은 쉬운 문의이고, 남는 것은 사람이 붙어야 풀리는 문의입니다. 담당자의 일은 줄어드는 대신 어려워집니다. 여기에 챗봇 자체를 돌보는 일이 새로 생깁니다. 못 알아들은 질문을 읽고 문서를 고치고 답을 손보는 일인데, 이걸 아무도 맡지 않으면 여섯 달쯤 뒤 제품은 바뀌었는데 챗봇만 예전 답을 하고 있는 상태가 됩니다.