robots.txt

검색 엔진의 수집기는 링크를 따라다니며 닿을 수 있는 페이지를 모두 읽습니다. 사람이 안내하지 않으면 읽어도 소용없는 자리까지 읽습니다. 사이트 안에서만 쓰는 검색 결과 화면, 인쇄용으로 만든 같은 내용의 페이지, 관리자용 화면이 그렇습니다.

그러면 두 가지가 생깁니다. 하나는 검색 결과에 엉뚱한 화면이 뜨는 것입니다. 회사 이름을 검색했을 때 사내 검색 결과 페이지가 나오는 식입니다. 다른 하나는 서버 쪽 부담입니다. 수집기가 짧은 시간에 수천 개의 주소를 훑으면 실제 사용자의 화면이 함께 느려집니다.

robots.txt는 사이트 문 앞에 붙이는 안내문입니다. 들어와도 되는 곳과 들어오지 않았으면 하는 곳을 적어 두고, 수집기는 읽기 전에 이 파일을 먼저 확인합니다.

어디를 읽지 말라고 알려 줄 방법이 없다는 문제를 풉니다. 파일 하나로 사이트 전체에 대고 한 번에 말하는 방식입니다.

두는 자리가 정해져 있습니다. 최상위 주소 바로 뒤여야 하고, 다른 폴더에 두면 아무 수집기도 찾지 않습니다. 내용은 세 줄짜리 문법으로 적습니다. 어느 수집기에게 하는 말인지, 어느 경로를 막을지, 그리고 사이트의 페이지 목록을 알리는 사이트맵이 어디 있는지입니다. 마지막 줄은 문법상 필수가 아니지만 관례로 함께 적습니다.

여기서 가장 자주 어긋나는 것은 이 파일이 막는 것의 범위입니다. 막는 것은 수집이지 공개가 아닙니다. 이미 색인에 들어간 페이지는 이 파일에 적어도 사라지지 않고, 다른 사이트가 그 주소로 링크를 걸어 두었다면 내용 없이 주소만 검색 결과에 남을 수 있습니다. 정말로 보이지 않게 해야 하는 자리는 권한으로 막거나 페이지 안에 색인하지 말라는 표시를 넣습니다.

강제력이 없다는 점도 알아 둡니다. 이 파일은 규약이라, 지키는 수집기와 무시하는 수집기가 함께 존재합니다.

가장 큰 사고는 반대 방향에서 납니다. 개발 중에 전체를 막아 둔 한 줄을 지우지 않고 공개하면 사이트가 검색에서 통째로 사라집니다.

"검색에서 사이트가 사라졌어요. robots.txt부터 확인하죠."

전체를 막은 줄이 남아 있는지 먼저 보자는 제안입니다.

"관리자 페이지 막는 건 이 파일이 아니라 권한으로 해야 합니다."

수집을 막는 일과 접근을 막는 일이 다르다는 지적입니다.

"사이트맵 주소를 여기 적어 두죠."

수집기가 목록을 먼저 찾게 해 주자는 말입니다.

페이지덱에서 태오가 새 버전을 올린 날 사이트가 검색에서 빠졌습니다. 시험용 서버에 두었던 전체 차단 한 줄이 함께 올라가 있었습니다.

현우는 그 뒤로 배포 점검 목록에 이 파일을 넣었습니다. 되돌린 뒤에도 검색 결과가 원래대로 돌아오는 데 열흘이 걸렸기 때문입니다.