테마와 플러그인 테스트를 위해 이 블로그를 Duplicator 플러그인을 이용해 블루호스트에서 제공하는 무료 도메인에 복제를 해놓았습니다.
이렇게 복제한 워드프레스 사이트를 그대로 두면 검색엔진에 노출이 되게 됩니다.
복제한 블로그가 노출이 되는 것 까지야 상관이 없습니다만 복제한 것이기에 중복 콘텐츠로 인해 이 블로그가 검색엔진 노출에 악영향을 받을 수 있습니다.
그래서 복제한 워드프레스 사이트를 검색엔진에 노출 하지 않기 위해 차단하기 시작하였습니다.
워드프레스 알림판의 설정 > 읽기로 들어가면 검색 엔진 가시성이라는 항목을 찾을 수 있습니다.
선택이 해제되어 있는 것이 기본값입니다.
이 검색엔진이 이 사이트를 검색하는 것을 차단 체크 옵션을 체크를 하고 변경사항 저장 버튼을 클릭하였습니다.
이렇게 설정을 하면 기본적으로 검색엔진이 사이트를 노출시키지 않습니다.
위와 같이 설정을 하면 아래와 같은 코드가 삽입됩니다.
<meta name='robots' content='nofollow, noindex"/>검색엔진이 인덱싱을 하지 말고 혹시라도 들어오면 링크를 따라가지 말라는 내용입니다.
그 다음에는 robots.txt 파일을 위와 같이 수정을 하였습니다.
Disallow 로 표기를 하여 검색엔진 봇들이 들어오지 말라고 기재를 하였습니다.
정확히는 크롤링을 하지 말라는 것입니다.
이렇게 2가지만 설정을 하면 기본적으로 검색엔진 노출 차단을 위한 준비를 마친 것입니다.
그래도 혹시 몰라서 사이트맵에서 글들을 제외해 주었습니다.
워드프레스가 업그레이드 되면서 자체적인 사이트맵을 생성하기에 SEO 플러그인은 그냥 두기로 했습니다.
SEO 플러그인을 통해 사이트맵 설정을 하기 위함입니다.
그리고 SEO 플러그인의 구글과 빙 검색엔진에 사이트맵이 업데이트 될 때마다 Ping을 하는 설정도 꺼버렸습니다.
마지막으로 이미 워드프레스의 기본 설정으로 Noindex 태그가 들어갔습니다만 혹시 하는 생각으로 SEO 플러그인에서도 No index를 설정 하였습니다.
검색엔진 노출 차단하기
블로거나 웹마스터는 자신의 블로그 또는 사이트를 검색엔진에 조금이라도 더 노출하기 위해 상당한 노력을 합니다만 웃긴 것은 검색엔진에 노출하는 것 보다 노출하지 않게 차단하는 것이 더 어렵습니다.
사이트나 블로그를 생성한 이후 구글 서치콘솔, 네이버 서치어드바이저, 다음 웹마스터 도구 그리고 빙 웹마스터 도구에 사이트맵과 RSS를 제출해야 각 검색엔진에 노출되는 것으로 알고 있습니다만 사이트맵과 RSS를 제출하지 않고 방치(?) 해두어도 검색엔진에 노출이 됩니다.
그만큼 검색엔진 봇들이 여기저리 열심히 돌아다닙니다.
한달 정도 지난 이후에 각 검색엔진에 정말 노출이 안되고 있는지 확인을 해보겠습니다.
