빙 검색엔진 봇 크롤링 속도 낮추기

MSN 봇 또는 BING 봇은 사용자 사이트의 콘텐츠를 색인화하여 빙 검색엔진에서 검색 시 결과를 표시합니다. 빙 봇이 너무 자주 방문하여 트래픽이 많이 소모되는 경우 빙 검색엔진 봇의 크롤링 속도를 낮출 수 있습니다.

빙(Bing) 검색엔진 봇 크롤링 속도 낮추기

빙 봇의 크롤링 속도는 두 가지 방법으로 조정할 수 있습니다.

빙 웹마스터 도구에서 빙 봇 크롤링 속도 조정하기

마이크로소프트 빙 웹마스터 도구에 사이트가 등록된 경우 빙 웹마스터 도구에서 크롤링 속도를 낮출 수 있습니다. 구글 서치 콘솔과 연동하여 쉽게 Bing 웹마스터 도구에 사이트를 등록할 수 있습니다.

https://avada.tistory.com/2669

빙(Bing) 검색엔진 등록 - 구글 서치 콘솔 연동

빙 웹마스터 도구에서는 구성 > 크롤링 제어를 클릭하여 크롤링 설정 섹션에서 크롤링 허용 속도를 설정할 수 있습니다.

원하는 시간대의 막대를 클릭하여 크롤링 속도를 더 빠르게 또는 더 느리게 조정면 됩니다.

robots.txt 파일에서 크롤링 속도 조정하기

robots.txt 파일에 다음과 같은 코드를 추가하여 빙 봇의 크롤링 속도를 느리게 설정할 수 있습니다.

User-agent: bingbot
Crawl-delay: 1

Bing은 crawl-delay에 대하여 가능한 한 가장 낮은 값을 사용하는 것을 권장합니다. 다음과 같은 값을 사용할 수 있습니다.

• Crawl Delay 미설정 – 보통(Normal)
• 1 – 느림 (Slow)
• 5 – 매우 느림 (Very Slow)
• 10 – 무지 느림 (Extremely Slow)

구글봇(Googlebot) 크롤링 속도 변경에 대해서는 구글 문서를 참고해보세요.

• https://support.google.com/webmasters/answer/48620?hl=ko 

마치며

이상으로 빙 검색엔진 봇의 크롤링 속도를 낮추는 방법에 대하여 살펴보았습니다. 티스토리의 경우 사용자가 robots.txt 파일에 접근할 수 있는 권한이 없으므로 빙 웹마스터 도구에서 조정할 수 있습니다. 웹호스팅에 가입하여 사이트를 운영하는 경우(예: 워드프레스), robots.txt 파일에 상기 코드를 추가하여 크롤링 속도를 제어할 수 있습니다.

아마 대부분의 사이트에서 빙(Bing) 유입이 그다지 많지 않을 것 같습니다. 저도 관리하는 사이트 대부분의 빙 검색엔진 유입이 그리 많지 않습니다만, 한 사이트에서 빙으로부터 하루 200~300명 내외가 들어오고 있습니다. 운이 좋아서 빙 검색엔진이 좋아하는 스타일로 글이 작성되면 빙으로부터도 어느 정도의 유입을 기대할 수 있을 것 같습니다.

참고

https://avada.tistory.com/1761

블로그 방문자 수를 늘리는 방법: SEO에 적합한 글 작성하기

https://avada.tistory.com/2565

워드프레스 Divi 테마용 무료 카메라 제품 레이아웃 팩(Camera Product Layout Pack) 다운로드