클라우드플레어 캐싱 예외 설정 방법 (다음 웹마스터 도구 인증 문제 해결하기)

클라우드플레어(Cloudflare)는 CDN 캐싱과 보안 기능으로 워드프레스 사이트의 속도와 안전성을 높여주는 강력한 도구입니다. 하지만 클라우드플레어가 활성화된 상태에서 다음(Daum) 웹마스터 도구의 robots.txt 인증을 시도하면 인증이 되지 않는 문제가 발생하는 경우가 있습니다. 실제로 동일한 사이트에서 클라우드플레어를 끈 도메인은 인증에 성공하고, 켜진 도메인만 인증에 실패하는 상황이 보고될 만큼 흔한 문제입니다.

이 문제의 핵심 원인은 클라우드플레어가 robots.txt를 캐싱하면서 수정된 내용이 즉시 반영되지 않거나, 다음 웹마스터 크롤러의 접근이 클라우드플레어 보안 설정에 의해 차단되기 때문일 수 있습니다. 이 글에서는 robots.txt를 포함해 feed URL, sitemap URL, ads.txt 등 캐싱 예외 처리가 필요한 파일들을 기준으로, 클라우드플레어 캐시 규칙을 이용한 캐싱 예외 설정 방법을 다루어보겠습니다.

문제 인식

워드프레스 정보를 공유하는 네이버 카페에 다음과 같이 클라우드플레어에 대한 질문이 올라왔습니다.

클라우플레어가 꺼진 5개 도메인은 정상적으로 다음 웹마스터도구 등록이 되었지만 클라우드플레어가 켜진 2개 도메인은 인증이 안 된 것으로 보아서 클라우드플레어가 원인일 가능성이 매우 높습니다.

클라우드플레어에서 DNS 프록시를 해제하거나 robots.txt 파일을 비롯한 일부 파일에 대하여 캐싱 예외 설정을 하는 것을 고려할 수 있습니다.

참고로 블루호스트(Bluehost)는 몇 년 전까지 우리나라에서 가성비 좋은 저렴한 호스팅으로 관심을 끌었지만 미국 서버만을 제공하여 우리나라에서 사이트 속도가 느려지는 문제로 지금은 사용자가 크게 줄어들었습니다. 대신 비슷한 레벨의 해외 공유호스티 서비스인 케미클라우드(ChemiCloud)가 재작년 서울 서버를 도입하면서 우리나라 사용자들이 크게 증가했습니다.

💚서울 서버를 제공하는 ChemiCloud 워드프레스 호스팅 가입 방법 및 워드프레스 설치

여러 개의 사이트를 운영하거나 규모가 큰 사이트를 운영하는 경우, 안정적인 성능이 필요한 사이트(예: 쇼핑몰)를 관리해야 하는 경우 몇 년 전부터 우리나라에서 인기를 끌고 있는 클라우드웨이즈(Cloudways)를 고려해 볼 수 있습니다. 저는 오랫동안 블루호스트를 이용했지만 속도가 느리다면 사용자들의 불만이 많았지만 몇 년 전 클라우드웨이즈로 바꾼 이후부터는 속도가 크게 개선되었습니다.

📌클라우드웨이즈 가입 방법 (+ 60% 할인 쿠폰)

클라우드플레어(Cloudflare)란?

클라우드플레어(Cloudflare)는 전 세계 300여 개 도시에 데이터센터를 운영하는 CDN(콘텐츠 전송 네트워크) 및 보안 서비스 기업으로, 웹사이트 트래픽을 중간에서 대신 처리하여 디도스(DDoS) 공격 차단, 봇 필터링, SSL/TLS 암호화, DNS 관리, 캐싱을 통한 로딩 속도 향상 등을 제공하며, 워드프레스를 비롯한 다양한 웹사이트에서 성능과 보안을 동시에 강화하는 목적으로 널리 사용됩니다.

우리나라에서는 망 사용료 문제 때문에 클라우드플레어 무료 요금제를 이용할 경우 사이트 속도가 느려지는 것으로 알려져 있습니다.

우리나라 망 사용료가 일본, 홍콩, 싱가포르 등의 국가와 거의 동일하다고 한국통신사업자연합회(KTOA)가 발표했지만 이에 대하여 클라우드플레어 임원은 우리나라 망 사용자가 20배 이상 비싸다고 밝힌 적이 있습니다.

클라우드플레어 임원 '한국 망 사용료가 비슷하다고? 20배 이상 비싸' : 클리앙

사이트에 대한 디도스 공격이 빈번하다면 클라우드플레어와의 연동을 고려할 수 있습니다. 실제로 저는 재작년 8~9월 한 달 동안 극심한 디도스 공격을 당한 적이 있습니다. 당시 다음과 같은 방법으로 공격을 겨우 방어할 수 있었고, 한 달 정도 지속되던 공격이 멈추었습니다.😄

1. 서버 크기를 2GB 램에서 4GB 램으로 업그레이드 (2GB 램 서버에서는 디도스 공격 규모가 커서 감당하지 못했습니다.)
2. 공격이 시작되면 클라우플레어에서 디도스 공격 알림이 전송되도록 설정하고 Under Attack 모드로 전환
3. 클라우드웨이즈에서 공격에 사용되고 있는 IP 주소들을 체크하여 차단.

다음 글에서 디도스 공격 방법에 대한 내용을 확인할 수 있습니다.

클라우드웨이즈 디도스 (DDoS) 공격 대응 방법 4가지 - 워드프레스 정보꾸러미

과거에는 대형 사이트들을 중심으로 디도스 공격이 이루어졌지만, 최근에는 디도스 공격 단가가 저렴해지면서 중소형 사이트들을 대상으로도 이루어지고 있는 추세입니다.

제 메인 블로그에서는 디도스 공격 우려 때문에 클라우드플레어를 활성화하여 한동안 사용하다가 지금은 비활성화한 상태입니다. 디도스 공격 우려가 사라졌고 사이트 속도에 약간의 영향을 미친다는 점이 있고, 무엇보다 클라우드플레어 때문에 사이트 레이아웃이 깨지는 현상이 발생해서 어쩔 수 없이 클라우드플레어 연동을 해제했습니다.

클라우드플레어를 사용하면 장단점이 있으므로 여러 가지를 고려해서 연동 여부를 결정하시기 바랍니다.

1. 디도스 공격 시 방어하는 데 도움이 됨. 보안 때문에 클플을 이용하는 기업들이 많습니다. 
2. 트래픽이 절감됨. 저는 30% 정도 트래픽이 절감되었습니다.
3. 무료 요금제에서 우리나라에서 속도가 느려질 수 있습니다.
4. 사이트 레이아웃이 깨지는 문제가 발생할 수 있음. (이 문제는 워드프레스 캐시 플러그인 설정과도 관련이 있을 것 같습니다.)

클라우드플레어 캐싱 예외 설정하기

워드프레스 사이트를 운영하는 경우 다음 항목에 대하여 캐싱이 되지 않도록 캐시 예외(캐시 제외) 설정을 하는 것이 좋습니다.

1. robots.txt
2. RSS Feed URL
3. 사이트맵 URL
4. ads.txt (구글 애드센스 광고를 표시하는 경우)

클라우드웨이즈를 이용하는 경우에도 서버 레벨과 캐시 플러그인(예: Breeze Cache) 레벨에서 상기의 4개 항목에 대해 캐싱 제외 설정을 할 수 있습니다.

클라우드웨이즈: RSS 피드 및 사이트맵 오류가 발생하는 경우 - 워드프레스 정보꾸러미

저는 관리하는 모든 워드프레스 사이트에 대하여 상기 항목들을 모두 캐싱 예외 설정했습니다. 그러면 사이트맵이나 RSS 피드, robots.txt 파일과 관련해서 문제가 발생하지 않습니다.

Cloudflare에서 캐싱 예외 설정하기

클플에서 캐싱 제외 설정을 하려면 Caching » Cache Rules로 이동하여 오른쪽 상단의 규칙 생성 버튼을 클릭합니다.

캐시 규칙 편집 화면이 표시되면 규칙 이름을 설정하고 "사용자 설정 필터 식"을 선택합니다.

캐싱이 되지 않아야 하는 항목들을 추가합니다. 아래 그림과 같이 전체 경로(예: https://example.com/robots.txt)를 입력합니다.

캐시 적합성에는 캐시 바이패스를 선택합니다.

위와 같이 설정한 다음 하단의 배포 버튼 또는 저장 버튼을 눌러 규칙을 추가합니다.

클라우드플레어 연동 시 robots.txt 파일에 대하여 리디렉션 문제가 발생하는 경우

클라우드플레어와 연동하는 경우 특히 robots.txt 파일에 접근 시 ERR_TOO_MANY_REDIRECTS 문제가 발생할 수도 있습니다.

이 경우 다음 글을 참고해서 클라우드웨이즈에서 설정을 변경하면 문제가 해결될 것입니다.

워드프레스에 클라우드플레어 적용 후 robots.txt 리디렉션 문제 - 워드프레스 정보꾸러미

 

Q&A (질문과 답변)

Q1. robots.txt를 캐싱하면 어떤 문제가 생기나요?

robots.txt는 구글봇을 비롯한 검색엔진 크롤러가 사이트에 접근할 때마다 가장 먼저 확인하는 파일입니다. 이 파일이 캐싱되면, 크롤링 차단 또는 허용 설정을 변경해도 캐시 만료 전까지는 변경 사항이 반영되지 않습니다. 특히 특정 디렉터리를 긴급하게 크롤링 차단해야 하는 상황에서 캐시로 인해 지연이 발생하면 SEO에 심각한 영향을 줄 수 있습니다.

Q2. 캐싱 예외 설정 후에도 CF-Cache-Status가 HIT으로 나오는 이유는?

가장 흔한 원인은 규칙 우선순위 문제입니다. Cache Everything 규칙이 캐싱 예외 규칙보다 높은 우선순위에 있으면 예외 규칙이 무시됩니다. Cache Rules 목록에서 예외 규칙을 드래그하여 Cache Everything 규칙보다 위로 올린 뒤 저장하세요. 설정 후에는 해당 URL의 캐시를 Purge하고 다시 확인해야 합니다.

Q3. Page Rules와 Cache Rules의 차이는 무엇인가요?

Page Rules는 클라우드플레어의 구형 규칙 시스템으로 URL 패턴 매칭만 지원합니다. Cache Rules(캐시 규칙)는 신형 시스템으로 URI 경로, 호스트명, 요청 헤더, 쿠키, HTTP 메서드 등 다양한 조건을 AND/OR로 조합할 수 있어 훨씬 정밀한 제어가 가능합니다. 클라우드플레어는 현재 Page Rules의 신규 기능 개발을 중단하고 Cache Rules로의 전환을 권장하고 있습니다.

Q4. ads.txt도 반드시 캐싱 예외 처리해야 하나요?

Google AdSense, Google Ad Manager 등 광고 네트워크는 광고 게재 전에 ads.txt 파일을 주기적으로 크롤링하여 광고주 인증 정보를 확인합니다. ads.txt가 캐싱되어 오래된 정보가 제공되면, 새로 추가한 광고 네트워크가 즉시 인식되지 않거나 광고 게재 자격 검증에 시간이 걸릴 수 있습니다. 광고 수익이 있는 사이트라면 반드시 캐싱 예외 처리를 권장합니다.

참고

https://avada.tistory.com/3580

워드프레스: 클라우드플레어(Cloudflare) 캐시 삭제 방법

https://avada.tistory.com/3981

클라우드웨이즈 서버 리전을 잘못 선택하는 경우 대응 방법

https://avada.tistory.com/3948

카페24의 10G 호스팅 상품 워드프레스 PHP 버전 업그레이드 작업