사이트의 특정 페이지를 삭제하여 없는 페이지이지만 네이버에 검색되는 경우가 있습니다. 이 경우 네이버 웹마스터도구(네이버 서치 어드바이저)에서 '웹 페이지 검색 제외'를 요청할 수 있습니다. 구글 서치 콘솔에서도 검색 제외 요청을 할 수 있습니다.
웹 페이지 검색 제외를 요청하려면 네이버 웹마스터도구에 로그인한 후에 해당 사이트를 선택하고 요청 > 웹 페이지 검색 제외를 클릭합니다.
네이버 웹마스터도구에서 웹 페이지 검색 제외 요청하기(네이버 서치 어드바이저)
요청 횟수는 일간 최대 50회까지 가능합니다. 원본을 삭제하지 않거나 검색 수집을 제한하지 않은 페이지는 검색 결과에 다시 노출될 수 있습니다.
그러므로 검색되지 않도록 하고 싶은 웹 페이지를 삭제하지 않은 경우에는 robotsx.txt 파일에 해당 웹 페이지를 노출하지 않도록 다음과 같은 라인을 추가하면 됩니다.
User-agent: *
Disallow: /readme.html그러면 your-site.co.kr/readme.html이 검색에서 제외됩니다. 시간이 지나면 검색 결과에 노출되지 않을 것입니다. (실제 반영 여부는 검색엔진에서 판단하게 됩니다.)
타인의 게시글 삭제를 원하는 경우 여기에서 신고할 수 있습니다.
워드프레스를 운영하는 경우 다음과 비슷하게 robots.txt 파일을 설정할 수 있습니다.
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Sitemap: http://www.example.com/sitemap.xml //실제 사이트맵 주소로 교체...플러그인 폴더를 검색엔진에 노출되지 않도록 하려면 Disallow: /wp-content/plugins/ 라인을 추가하면 됩니다.
구글 서치 콘솔에서 페이지 수집 제외 요청하기
구글에서도 비슷한 방법으로 검색 결과에서 페이지 삭제 요청을 할 수 있습니다.
긴급하게 삭제해야 하는 경우 이 기능을 사용할 수 있습니다.
특정 페이지에 noindex 메타 태그를 추가하여 해당 페이지를 검색 결과에 나타나지 않도록 할 수도 있습니다.
예시:
<meta name="robots" content="noindex">