새로 개설한 워드프레스 블로그에 포스팅을 몇 개 한 이후 구글 서치 콘솔에 등록을 해주었습니다.
그런데 이상하게 색인이 되지 않는 느낌이 들기 시작합니다.
초반이니 좀 더 기다려 보자 하고 시간을 좀 더 두고 지켜보았는데… 전혀 미동이 없어 여기저기 살펴보기 시작하였습니다.
구글 서치 콘솔에 사이트맵도 제출된 상태도 성공으로 잘 되어 있는데 뭐가 문제일까 하고 제출된 사이트맵을 한번 클릭을 했더니 하위 사이트맵이 가져올 수 없음 상태로 표시가 되고 있었습니다.
즉 index_sitemap.xml 파일은 성공으로 되어 있는데 하위 사이트맵들인 post_sitemap.xml, category_sitemap.xml 들이 가져올 수 없음 상태로 오류를 보여주고 있었습니다.
이 화면을 캡쳐를 한 듯 한데 찾을 수가 없네요 ㅠㅠ
일단 뭐가 문제인지 서치 콘솔에 직접 사이트맵 주소를 넣고 색인 생성이 가능한지 테스트를 해보았습니다.
그랬더니 위와 같은 생각지도 못한 문제가 발생했습니다.
바로 X-Robots-Tag http 헤더에서 noindex가 감지되었다는 것입니다.
noindex면 검색엔진이 색인을 하지 말라는 것인데.. 워드프레스 어디에도 설정을 하지 않은 noindex, Robots.txt 등에도 설정하지 않은 noindex가 어디서 튀어 나온 것인지..
일단 http 헤더는 호스팅 유저가 손을 댈 수가 없는 부분이기에 호스팅 업체인 카페24에 문의를 하였으나 별 성과없는 답변만 돌아왔습니다.
X-Robots-Tag http 헤더 noindex 문제 해결하기
다행히 해외 커뮤니티를 검색해 보니 같은 문제를 겪은 유저들의 글들이 보입니다.
워드프레스의 경우 플러그인을 설치하면 해결이 가능한 것을 확인하고 그대로 진행을 해보았습니다.
HTTP header로 검색을 하면 HTTP Headers 라는 플러그인을 발견할 수 있습니다.
이 플러그인을 설치 합니다.
HTTP Headers 플러그인을 설치 후 활성화 하면 설정에 HTTP Headers 메뉴가 추가된 것을 확인할 수 있습니다.
HTTP Headers 메뉴로 들어가면 위와 같은 화면을 만나게 됩니다.
여기서 가장 밑에 있는 MISCELLANEOUS 를 클릭합니다.
그럼 위와 같은 화면을 만나게 됩니다.
가장 밑에 있는 X-Robots-Tag의 Edit를 클릭 합니다.
그럼 위와 같이 X-Robots-Tag의 옵션을 설정할 수 있는 화면이 나옵니다.
위의 빨간 밑줄이 쳐진 것과 같이 설정을 해준 이후 위 이미지에는 나오지 않았으나 밑에 Save Change 버튼을 클릭해 마무리를 해줍니다.
그리고 다시 사이트맵 파일을 서치 콘솔에서 테스트를 해보았더니..
이제는 구글에 등록할 수 있다는 정상적인 결과를 받았습니다.
카페24의 X-Robots-Tag http 헤더 noindex 문제
우선 이용중인 카페24의 모든 매니지드 워드프레스 계정에서 이 문제가 발생하지는 않습니다.
이게 PHP 버전에 따라 발생이 되고 있는지는 모르겠습니다만 카페24는 이 부분을 수정을 해야 할 것으로 보입니다.
혹시 카페24의 매니지드 워드프레스 호스팅을 이용 중인데 구글 색인에 문제가 있다고 생각이 든다면 사이트맵을 서치 콘솔에서 색인 생성 가능 여부를 테스트 해보시기 바랍니다.
그리고 X-Robots-Tag http 헤더 noindex 문제가 발생한다면 위 방법으로 해결하시기 바랍니다.
