구글 웹마스터 도구에서 robots.txt 오류가 발생하면서 새로운 글을 제대로 크롤링하여 색인화하지 못하는 오류가 발생할 수 있습니다. 이 경우 먼저 robots.txt 파일이 생성되어 있는지 확인합니다. robots.txt 파일이 없으면 다음 글을 참고하여 하나 만들도록 합니다. 워드프레스 robots.txt 파일 최적화 그래도 오류가 발생하면 크롤링 > robots.txt 테스터에서 robots.txt를 제대로 인식하여 불러오는지 테스트해보도록 합니다. 만약 robots.txt 테스트에 실패하는 경우에는 원인을 파악하여 문제를 해결해야 합니다. 참고: 워드프레스에서 SEO 플러그인에 포함된 사이트맵 사용하기

robots.txt 파일이 없어도 검색 엔진에서 사이트를 크롤링(Crawl)하여 색인을 만들지만 이 파일을 만드는 것이 좋습니다. robots.txt 파일은 루트 폴더에 위치합니다. robots.txt 파일이 없으면 FTP를 통해 접속하여 robots.txt 파일을 만드시기 바랍니다. 워드프레스에서 robots.txt 파일은 다음과 비슷하게 만들 수 있습니다.User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ 내용은 원하는 대로 조정하면 됩니다. 사이트맵 위치를 추가하려면 다음과 같은 형식으로 추가합니다.Sitemap: http://www.example.co.kr/sitemap.xml Sitemap: http://www.exa..