robots.txt 파일이 없어도 검색 엔진에서 사이트를 크롤링(Crawl)하여 색인을 만들지만 이 파일을 만드는 것이 좋습니다.
robots.txt 파일은 루트 폴더에 위치합니다. robots.txt 파일이 없으면 FTP를 통해 접속하여 robots.txt 파일을 만드시기 바랍니다.
워드프레스에서 robots.txt 파일은 다음과 비슷하게 만들 수 있습니다.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
내용은 원하는 대로 조정하면 됩니다. 사이트맵 위치를 추가하려면 다음과 같은 형식으로 추가합니다.
Sitemap: http://www.example.co.kr/sitemap.xml
Sitemap: http://www.example.co.kr/post-sitemap.xml
자세한 방법은 "Robots.Txt 파일 만들기 및 최적화하기"를 참고해보세요.