구글 서치 콘솔 robots.txt 가져오기 실패, 원인과 해결 접근법 (서버 이전 후 발생 시)

서치콘솔의 설정  →  크롤링 통계 → 호스트 상태에서 robots.txt fetch – High fail rate 경고가 뜨는 경우가 있을 수 있습니다. 서버 이전이나 클라우드플레어 적용 직후에 나타날 수 있습니다. 브라우저에서는 robots.txt가 잘 열리는데 구글봇만 간헐적으로 실패한다면 원인 파악이 쉽지 않을 수 있습니다.

문제 증상

카페24에서 운영되던 사이트가 해킹을 당해 악성코드 제거 후에 사이트그라운드(SiteGround)로 이전한 직후부터 문제 발생.

• 호스트 상태 경고: 서치콘솔 크롤링 통계에 robots.txt fetch – High fail rate last week 표시
• 나머지 항목은 정상: DNS resolution, Server connectivity는 Acceptable fail rate
• 실패율 급등 후 간헐적 실패 지속: 8월 13일경부터 상승했고, 그래프상 두 차례 30~45%대까지 치솟은 뒤 현재도 4~5% 수준 유지
• 브라우저에서는 정상: 사이트와 robots.txt가 일반 접속에서는 열림
• 클라우드플레어 Bot Fight Mode 해제 후 부분 개선: 9월 18일경 해제 후 실패율은 줄었지만 완전히 해소되지는 않음
• 크롤링 수 급감: 평소 1,000건 이상에서 최근 300건대로 하락
• 검색순위 하락: 최근 구글 검색순위가 크게 떨어짐 (robots.txt 오류와의 관련성은 미확인)
• 발생 시점: 해킹 후 악성코드 제거, 카페24에서 SiteGround로 서버 이전한 시기와 겹침

이런 문제는 확인해야 할 사항이 많고, 원인을 찾아 조치한 뒤에도 서치콘솔에 결과가 반영되기까지 시간이 걸립니다. 실패율과 크롤링 수가 안정되는지 확인하려면 몇 주간 지켜봐야 할 수도 있습니다.

참고로 사이트그라운드(SiteGround)는 한때 우리나라에서도 인기가 있었지만 6~7년 전에 우리나라를 비롯한 대부분의 아시아 국가에서 신규 서비스를 받지 않고 있습니다. 기존 사용자는 계속 이용이 가능합니다.

사이트그라운드 서비스 가입 불가능 - 한국 등 일부 국가 서비스 중단 (SiteGround)

당시에는 해외 호스팅 중에서 싱가포르 서버를 제공하면서 우리나라에서 속도가 빠른 편이어서 사용자가 제법 있었습니다. 지금은 비슷한 레벨의 케미클라우드(Chemicloud)가 서울 서버를 도입하여 우리나라에서 빠른 속도를 제공합니다. 

💚서울 서버를 제공하는 ChemiCloud 워드프레스 호스팅 가입 방법 및 워드프레스 설치

가능한 원인:

1. 호스팅의 서버단 안티봇 차단: 구글봇 요청에 202, 429 응답이나 캡차 챌린지가 걸리는 경우입니다. 클라우드플레어의 프록시를 활성화하면 접속 IP가 클라우드플레어 IP로 모여 봇·레이트 리밋(속도 제한) 판정에 더 쉽게 걸릴 수 있습니다.
2. 원본 서버의 간헐적 5xx·타임아웃: PHP 워커 부족, 쇼핑몰 부하, 무거운 플러그인 등이 원인입니다. 클라우드플레어 520·522·524 오류로 나타납니다.
3. 워드프레스 가상 robots.txt: 기본 robots.txt는 실제 파일이 아니라 PHP가 매번 생성합니다. 서버가 느려지면 robots.txt도 같이 실패합니다.
4. Cloudflare 보안 설정: WAF 커스텀 규칙, 속도 제한(Rate Limiting), AI 봇 차단, 관리형 robots.txt 기능이 간섭할 수 있습니다.
5. 캐시·SSL·리디렉션 설정 문제: robots.txt가 캐싱되지 않아 매번 원본까지 요청이 가거나, SSL 모드가 불안정한 경우입니다.
6. 보안·캐시 플러그인 충돌: 봇 차단이나 레이트 리밋 기능이 있는 플러그인이 원인일 수 있습니다.
7. 잔여 악성코드: 직접 원인일 가능성은 낮지만, 해킹 이력이 있다면 robots.txt 변조나 구글봇 대상 클로킹 여부는 점검해야 합니다.

참고로 저는 robots.txt, 사이트맵 URL, RSS 피드 URL, ads.txt 파일에 대하여 캐싱 제외 설정을 하고 있습니다. 캐싱 문제 때문에 사이트맵이나 robots.txt 파일 인식에 문제가 발생하는 경우가 있어서 이런 파일들에 대해서는 캐싱 예외 설정을 해주는 것을 고려할 수 있습니다.

다만, 이 문제와 같은 경우에는 사이트맵, RSS 피드, ads.txt처럼 자주 바뀌거나 검색엔진이 정확한 내용을 읽어야 하는 파일은 캐시 플러그인에서 제외해 두는 것이 안전하지만, robots.txt는 캐시 플러그인에서는 제외하되, Cloudflare에서는 원본 서버 상태에 따라 짧게 캐싱하는 방법도 고려할 수 있다고 합니다.

해결 접근 방법

단순한 추측으로 설정을 바꾸기보다 증거 확보 → 원인 분리 → 수정 → 모니터링 순서로 진행해 볼 수 있습니다.

1. 실패 유형 확인
   • 서치콘솔 크롤링 통계에서 실패 유형(서버 오류, 연결 불가, 타임아웃) 확인
   • 평균 응답 시간 확인
2. 클플 로그 확인
   • Security → Events에서 /robots.txt와 구글봇 UA로 필터링
   • Analytics에서 원본 5xx 추이 확인
   • 응답 헤더의 cf-cache-status 확인
3. 호스팅 로그 확인
   • Access log·Error log에서 robots.txt 요청의 202, 429, 5xx 검색
   • 구글봇 차단 기록이 있으면 호스팅 지원팀에 예외 처리 요청
4. 수정
   • 루트에 실제 robots.txt 파일 배치 (PHP 우회)
   • 클플에서 /robots.txt를 짧은 TTL로 엣지 캐싱 (200 응답만 캐싱되는지 확인)
   • 원본 5xx가 많으면 PHP 자원·플러그인 점검
   • 불필요한 WAF·레이트 리밋 규칙 정리 (인증된 봇 제외 여부 확인)
5. 모니터링
   • 1~2주간 호스트 상태에서 실패율이 임계선 아래로 안정되는지 확인
   • 크롤링 수 회복 여부 확인
   • 응답 코드 점검용 명령:

for i in $(seq 1 50); do curl -s -o /dev/null -w "%{http_code} %{time_total}\n" https://example.com/robots.txt; sleep 2; done

저 같으면 클라우드플레어 프록시를 해제하고 다른 호스팅으로 서버를 옮기는 것을 고려할 것 같지만, 이 방법이 그리 바람직하지 않다고도 하네요. 원인을 모르는 상태에서 옮기면 동일 문제가 반복될 수 있고, 클라우드플레어를 해제하면 디도스 등의 방버막이 사라져서 보안이 악화될 수 있습니다. 특히 쇼핑몰인 경우 다운타운 시간 때문에 서버 이전 과정이 그리 간단치 않을 수 있습니다.

현실적인 방법:

1. 서치콘솔의 실패 유형과 SiteGround 접속 로그부터 확인 (비용 없이 가능)
2. 가상 robots.txt를 실제 파일로 교체하고, 필요하면 Cloudflare에서 짧게 캐싱
3. 그래도 실패율이 남으면 프록시 해제를 1~2주간 실험
4. 여전히 개선되지 않고 SiteGround 로그에서 원인이 확인되면 호스팅 이전 검토

참고

https://avada.tistory.com/3953

카페24 뉴매니지드 워드프레스 도메인 연결 및 SSL 인증서 설치

 

📌클라우드웨이즈 가입 방법 (+ 60% 할인 쿠폰)