사이트맵

검색 봇은 주소를 스스로 상상해 내지 못하고 어딘가에 걸린 링크를 따라가야만 새 페이지에 닿습니다. 그래서 아무 데서도 링크되지 않은 글은 사이트 안에 있어도 검색 엔진에게는 없는 글입니다.

페이지덱의 도움말이 그랬습니다. 문서 200개 중 검색 결과에서 찾을 수 있는 것은 110개였습니다. 태오가 확인해 보니 도움말 첫 화면에는 인기 문서 20개만 링크돼 있었고 나머지는 사이트 안 검색으로만 닿을 수 있었습니다. 봇은 그 검색창에 단어를 쳐 넣지 않으니 90개는 계속 발견되지 않았습니다.

링크를 따라가다 놓치는 페이지를 직접 알려 주고, 새로 올린 페이지가 빨리 잡히게 합니다.

1. 링크로 닿지 않는 페이지를 목록에 올립니다. 도움말 200개를 모두 적어 두면 크롤링이 링크를 못 찾아 빠뜨리는 일이 없어집니다.
2. 주소마다 마지막으로 고친 시각을 함께 적습니다. 봇이 어느 페이지를 다시 볼지 정하는 데 쓰는 값이라, 고친 글이 며칠 안에 반영되게 만드는 장치입니다.
3. 무엇이 등록됐는지 견줄 기준이 됩니다. 관리 도구에 이 파일을 제출하면 제출한 주소 수와 색인에 오른 수를 나란히 보여 줍니다. 200개를 냈는데 130개만 올랐다면 남은 70개의 공통점을 찾는 것이 다음 작업입니다.
4. 큰 사이트에서는 봇의 여력을 중요한 쪽으로 돌립니다. 주소 2만 개 중 봐야 할 것이 3,000개라면 그 3,000개만 목록에 둡니다.
5. 넣지 말아야 할 것을 넣으면 신호가 엉킵니다. 대표가 아닌 사본, 올리지 말라고 표시해 둔 페이지, 다른 주소로 넘기는 주소가 들어가면 파일과 페이지가 다른 말을 합니다.
6. 목록에 올렸다고 등록이 보장되지는 않습니다. 이 파일은 요청이고 판단은 검색 엔진이 합니다. 내용이 얇은 페이지는 목록에 있어도 오르지 않습니다.

파일 하나에 주소 5만 개까지가 통용되는 한도이고, 넘으면 여러 파일로 나눠 그 파일들의 목록을 따로 만듭니다.

"도움말 200개 중 110개만 색인됐어요. 사이트맵부터 넣죠."

링크로 닿지 않는 페이지가 많다는 판단입니다.

"제출 200, 색인 130입니다. 나머지 70개를 봐야 합니다."

파일을 기준으로 빠진 페이지를 추려 보자는 말입니다.

"리다이렉트되는 주소가 사이트맵에 아직 들어 있습니다."

파일과 페이지가 다른 말을 하고 있다는 지적입니다.

태오가 사이트맵을 만들고 현우가 관리 도구에 제출한 뒤 3주 동안 색인 수가 110에서 186으로 올랐습니다. 남은 14개는 세 줄짜리 문서였고, 파일에서 빼는 대신 내용을 채우기로 했습니다. 목록에 올리는 일과 오를 만한 페이지를 만드는 일이 다른 작업이라는 것이 그 자리에서 정리됐습니다.