색인

페이지를 올렸는데 검색해도 나오지 않는 일은 흔합니다. 먼저 의심하는 것은 검색 봇이 안 왔다는 쪽인데, 기록에는 봇이 방문한 흔적이 남아 있는 경우가 많습니다. 방문은 했고 결과에는 없는 상태입니다.

페이지덱 블로그가 그랬습니다. 현우가 글 마흔 편을 올렸는데 검색에 나오는 것은 스물두 편이었습니다. 관리 도구를 열어 보니 나머지 열여덟 편은 발견은 됐지만 등록되지 않은 상태였습니다.

수집과 등록이 다른 단계라는 사실이 드러납니다. 검색 엔진은 훑어 간 페이지를 전부 등록하지 않고, 등록할 값이 있는지 스스로 판단합니다.

봇이 훑어 간 뒤에 세 단계가 더 있습니다. 내용을 해석하고, 등록할지 판단하고, 등록된 것만 검색 결과의 후보가 됩니다. 훑어 가는 단계가 크롤링이고 이 페이지는 그다음을 다룹니다.

등록되지 않는 이유는 대개 넷입니다.

1. 비슷한 페이지가 여럿 — 내용이 거의 같은 주소가 여러 개면 검색 엔진이 그중 하나만 대표로 등록합니다. 주소에 붙는 추적 값 때문에 같은 글이 다섯 주소로 존재하는 일이 흔합니다.
2. 등록하지 말라는 표시 — 색인 제외 표시가 들어 있으면 등록되지 않습니다. 개발 중 넣어 둔 표시를 지우지 않고 공개하는 실수가 흔합니다.
3. 내용이 빈약함 — 목록만 있고 본문이 몇 줄뿐인 페이지는 등록되지 않거나 등록됐다가 빠집니다. 이런 페이지가 얇은 콘텐츠입니다.
4. 중요도가 낮음 — 사이트 안에서 아무도 링크하지 않은 페이지는 뒤로 밀립니다. 봇이 한 사이트에 쓰는 여력인 크롤 예산이 빠듯하면 그대로 몇 달이 갑니다.

등록을 요청하는 길도 있습니다. 주소 목록을 정리한 파일을 제출하고, 급한 페이지는 관리 도구에서 개별로 요청합니다. 다만 요청이 등록을 보장하지는 않습니다. 빼고 싶을 때는 색인 제외 표시를 씁니다. 봇의 접근만 막으면 이미 등록된 것이 남습니다.

"봇은 왔는데 색인이 안 됐어요. 크롤링 문제가 아닙니다."

수집과 등록을 구분하는 자리입니다.

"이 주소들 내용이 같아요. 대표 주소를 하나로 정해 줍시다."

비슷한 페이지가 여럿이라 등록이 나뉘고 있다는 지적입니다.

"검색에서 빼려면 색인 제외 표시를 넣어야 합니다. 접근만 막으면 안 빠져요."

제외하는 방법을 정정하는 말입니다.

현우가 열여덟 편을 나눠 봤습니다. 아홉 편은 본문이 거의 없는 태그 목록이었고, 다섯 편은 같은 글이 주소만 다르게 있었고, 네 편은 어디서도 링크되지 않았습니다. 태그 목록은 색인 제외로 돌리고, 중복은 대표 주소를 지정하고, 나머지 넷은 관련 글에서 링크를 걸었습니다. 여섯 주 뒤 등록된 글이 스물두 편에서 서른한 편이 됐습니다.