중복 콘텐츠

이 상태에는 오래 벌점이 붙는다는 소문이 따라다녔습니다. 감점하는 규칙은 없습니다. 그런데도 손해가 생기는 이유는 벌이 아니라 선택입니다. 검색 엔진은 같은 내용을 결과에 여러 번 올리지 않고 한 벌만 고릅니다.

페이지덱 제품 소개 페이지에서 그 일이 있었습니다. 목록에 규모별과 업종별 필터를 붙였더니 조합마다 주소가 생겨 2천 개가 됐고 내용은 거의 같았습니다. 검색 결과에 뜬 것은 소개 페이지가 아니라 그중 한 조합이었고, 들어온 사람은 특정 업종으로 걸러진 화면을 보게 됐습니다.

주소가 늘어나는 경로는 정해져 있습니다. 유입 경로 꼬리표, 슬래시가 있는 주소와 없는 주소, http와 https, 정렬을 바꾼 목록, 인쇄용 페이지입니다. 어느 것도 잘못 만든 것이 아니어서 생기는 줄도 모르는 채 쌓입니다.

검색 엔진이 여러 벌 가운데 대표를 고르고 나머지를 결과에서 뺍니다. 그 과정에서 생기는 손해가 셋입니다.

1. 평가가 갈립니다. 다른 사이트가 걸어 준 링크가 네 주소에 나뉘어 붙으면 한 글이 받은 값도 네 조각이 됩니다.
2. 원하지 않는 주소가 대표가 됩니다. 꼬리표나 필터가 걸린 주소가 결과에 뜨면 들어온 사람이 보는 화면이 우리 의도와 다릅니다.
3. 수집 여력이 낭비됩니다. 봇이 하루에 보는 페이지 수는 정해져 있어서, 껍데기 2천 개를 훑는 동안 새로 쓴 글의 차례가 밀립니다.

완전히 같아야 중복인 것도 아닙니다. 지역명만 바꿔 찍어 낸 페이지처럼 골격이 같고 단어 몇 개만 다른 경우도 같은 것으로 묶입니다.

사이트 밖에서도 생깁니다. 다른 사이트가 글을 그대로 퍼 가면 같은 내용이 두 도메인에 존재하고, 그 사이트의 평가가 더 높으면 원본이 뒤로 밀립니다.

주소를 하나로 줄일 수 있으면 줄이고, 둘 다 살려 두어야 하면 대표를 지정하는 캐노니컬을 걸고, 더 쓰지 않을 옛 주소는 리다이렉트로 넘깁니다.

"이거 중복 콘텐츠예요. 필터 조합마다 주소가 생기고 있습니다."

같은 내용이 여러 주소로 갈라져 쌓이는 중이라는 지적입니다.

"벌점은 없어요. 문제는 평가가 갈리는 거고요."

감점 규칙이 아니라 손해의 종류를 바로잡는 말입니다.

"site: 로 검색해 보니 같은 제목이 열두 개 뜹니다."

중복 상태를 확인한 결과를 보고하는 말입니다.

페이지덱에서는 현우가 분기마다 이 확인을 돌립니다. 사이트를 지정해 검색해 같은 제목이 몇 개 뜨는지 보고, 색인에 오르지 못한 이유도 함께 봅니다. 태오는 필터 조합이 주소로 남지 않게 만드는 쪽을 맡습니다. 생긴 뒤에 대표를 지정하는 것보다 값이 싸기 때문입니다.