본문 바로가기

구글 웹마스터 도구에서 robots.txt 오류가 발생하는 경우

2018.06.12 댓글 0

구글 웹마스터 도구에서 robots.txt 오류가 발생하면서 새로운 글을 제대로 크롤링하여 색인화하지 못하는 오류가 발생할 수 있습니다.

이 경우 먼저 robots.txt 파일이 생성되어 있는지 확인합니다. robots.txt 파일이 없으면 다음 글을 참고하여 하나 만들도록 합니다.

그래도 오류가 발생하면 크롤링 > robots.txt 테스터에서 robots.txt를 제대로 인식하여 불러오는지 테스트해보도록 합니다.

만약 robots.txt 테스트에 실패하는 경우에는 원인을 파악하여 문제를 해결해야 합니다.

참고:

※일부 글에 제휴 링크가 포함될 수 있습니다.

댓글0