티스토리 '새로운 페이지 색인 생성 문제가 감지됨' 오류가 발생하는 경우

티스토리나 워드프레스 블로그를 구글 서치 콘솔에 등록하면 수시로 '새로운 페이지 색인 생성 문제가 감지됨' 메일이 날아옵니다. 아래 그림은 'NOINDEX’ 태그에 의해 제외되었습니다 문제로 인한 색인 생성 문제가 감지되었음을 알리는 메일입니다.

이런 메일을 받으면 사이트에 문제가 있는 것이 아닌가 생각이 들 수 있습니다. 그러나 이와 같은 메일은 무시하셔도 됩니다.

티스토리 '새로운 페이지 색인 생성 문제가 감지됨' 오류가 발생하는 경우

구글 검색 콘솔(Google Search Console)의 색인생성 » 페이지를 방문하면 아래 그림과 같이 일반적으로 색인이 생성된 페이지보다 색인이 생성되지 않은 페이지가 훨씬 많습니다.

아래에 페이지 색인이 생성되지 않는 이유에 대한 다양한 사유가 나열되어 있습니다.

오류 유형	설명
적절한 표준 태그가 포함된 대체 페이지	중복된 페이지 중 하나가 표준(정규) URL로 지정되어 색인되지 않음
찾을 수 없음(404)	요청한 페이지가 존재하지 않아 색인 불가
액세스 금지(403)	서버에서 접근이 차단되어 크롤러가 페이지에 접근할 수 없음
다른 4xx 문제	404, 403 이외의 클라이언트 오류(예: 410 등)로 접근 불가
robots.txt에 의해 차단됨	robots.txt 규칙에 따라 크롤링이 제한됨
리디렉션이 포함된 페이지	리디렉션 설정으로 인해 최종 대상 페이지만 색인됨
Soft 404	페이지는 존재하지만 내용이 부족하거나 비어 있어 ‘존재하지 않는 페이지’로 간주됨
사용자가 선택한 표준이 없는 중복 페이지	중복된 콘텐츠가 있지만 표준 URL이 지정되지 않아 색인되지 않음
크롤링됨 - 현재 색인이 생성되지 않음	페이지가 크롤링되었으나 색인되지 않음(일시적/품질 문제 가능)
발견됨 - 현재 색인이 생성되지 않음	URL은 발견되었으나 아직 크롤링이나 색인이 이루어지지 않음
‘NOINDEX’ 태그에 의해 제외됨	페이지에 noindex 메타 태그가 있어 색인 불가
서버 오류(5xx)	서버 오류(예: 500, 502, 503 등)로 인해 크롤링 실패

티스토리의 경우 위와 같은 오류가 표시되어도 사용자가 취할 수 있는 조치는 거의 없고 보통 무시하시면 됩니다.

예를 들어, 가장 많은 오류가 발생하는 '적절한 표준 태그가 포함된 대체 페이지' 사유를 클릭하면 다음과 같이 문제를 일으키는 URL들을 확인할 수 있습니다.

다음과 같은 URL들이 이 문제에 해당하는데요.

• https://avada.tistory.com/1732?category=832490
• https://avada.tistory.com/m/2575
• https://avada.tistory.com/1312?category=773015?category=773015

이 URL들이 색인이 되지 않는 이유는 같은 글이지만 URL만 다르게 표시되거나(상기 예시에서 첫 번째 URL) 모바일 전용 URL이기 때문입니다.

동일 콘텐츠에 대하여 여러 개의 URL이 생성되어 있으면 중복 콘텐츠/유사 콘텐츠로 문제를 일으킵니다. 이러한 문제를 피하기 위해 동일 콘텐츠에 대하여 여러 개의 URL이 있으면 대표 URL 하나만 색인이 됩니다.

 

• ?category= 파라미터 URL → 중복 콘텐츠로 제외.
• /m/ 모바일 URL → PC 버전이 대표 URL로 색인, 모바일은 제외.
• 중복된 파라미터(?category=?category=) → 비정상 URL로 색인 제외.

또한, robots.txt에 의해 차단됨 문제의 경우 robots.txt 파일에 의해 색인이 되지 않도록 설정되어 있는 URL들이 색인되지 않으므로 마찬가지로 무시할 수 있습니다.

모든 티스토리는 robots.txt 파일의 내용이 동일합니다.

User-agent: *
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search

User-agent: bingbot
Crawl-delay: 20

가령, /mange나 /search, /m/search로 시작되는 URL은 모두 색인이 되지 않습니다.  티스토리의 robots.txt 파일의 내용은 수정할 수 없습니다.

참고로 워드프레스에서는 사용자가 robots.txt 파일을 편집할 수 있습니다.

워드프레스 Robots.txt 파일 만들기 및 최적화하기 - 워드프레스 정보꾸러미

robots.txt 파일에 액세스할 수 있다면 특정 폴더나 파일을 색인이 되지 않도록 설정하거나 특정 검색엔진(예: 구글이나 네이버)에 대하여 접근하지 못하도록 설정하는 것이 가능합니다. 저는 챗GPT 등 AI 크롤러 접근을 허용하고 바이두와 얀덱스는 차단하도록 코드를 추가했습니다.😄 (워드프레스에서는 Yoast SEO나 Rank Math와 같은 SEO 플러그인을 사용하여 개별 글이나 페이지에 대하여 noindex나 nofollow 등을 설정하는 것도 가능합니다.)

AI 크롤러의 허용 여부를 지정할 수 있습니다. (하지만 특정 AI 크롤러는 robotst.txt 파일을 무시할 수 있습니다.)

# GPT 및 AI 크롤러 허용
User-agent: GPTBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: AnthropicBot
Allow: /

User-agent: Google-Extended
Allow: /

중국과 러시아 검색엔진의 접근을 차단하려는 경우 다음과 같은 코드를 넣을 수 있습니다.

# Block Baidu spider
User-agent: Baiduspider
User-agent: Baiduspider-video
User-agent: Baiduspider-image
User-agent: Baiduspider+
Disallow: /

# BLOCK Yandex
User-agent: Yandex
Disallow: /

 

페이지 색인 생성 문제 때문에 글이 색인되지 않는가?

구글로부터 페이지 색인 생성 문제가 감지되었다는 메일을 처음 받으면 무엇인가가 잘못된 것이 아닌가 생각될 수 있습니다만, 티스토리의 경우 대부분 무시할 수 있으므로 너무 신경쓰지 않아도 됩니다. 혹시 이 때문에 구글이나 네이버에 색인이 안 되는 것은 아닌가 생각할 수도 있지만, 이 문제와는 보통 상관이 없습니다.

구글과 네이버에서 초기에 잘 색인이 안 될 수 있습니다. 하지만 시간이 지나면서 검색엔진에서 해당 블로그를 유용한 사이트로 인식하게 되면 빠르게 색인이 이루어지므로 걱정할 필요가 없습니다. 이 블로그의 경우 글 작성 후 보통 서너 시간에서 하루 이내에 색인이 이루어지는 것 같습니다.

색인 생성이 안 되는 페이지가 많은 것으로 표시되는 것도 문제가 아니므로 무시할 수 있습니다. 제 워드프레스 블로그는 색인이 생성되지 않는 페이지 수가 68,500개에 달합니다.😄

이런 것에 신경 쓸 필요가 없고, 유용한 정보를 전달하는 글을 작성하는 데 집중하는 것이 오히려 더 도움이 될 것입니다.

제재가 심해지는 티스토리

티스토리에서 자체 광고를 도입하면서 많은 수익형 블로그들의 수익이 크게 감소했습니다. 저는 자체 광고 도입 후에 이 블로그에서 구글 애드센스 광고를 제거했습니다.😥

이후에 티스토리에서는 앵커 광고를 금지했고, 2025년 9월 3일부터는 모바일 전면 광고도 제한하는 조치를 발표했습니다. 이로 인해 애드센스 수익이 더욱 줄어들 것으로 예상됩니다.

또한, 광고를 제목 부근에 표시하거나 팝업을 표시하거나 하면 제재를 가하고 있습니다. 심지어 자동 목차를 표시하는 경우에도 제재를 가한다고 합니다. (아마 티스토리 시스템에서 자동 목차를 감지하면 경고를 보내고 제거하지 않으면 30일 로그인 제한 제한 등의 조치를 내리는 것 같습니다. 저는 수익형 블로그가 아니지만 혹시나 해서 자동 목차를 제거했습니다.)

티스토리 블로그/글 제목 영역에 노출되는 광고 규제

이처럼 티스토리에서 제재가 심해지면서 워드프레스나 블로그스팟 등으로 이사하는 분들도 계십니다. 워드프레스로 이사하는 경우 게시글을 그대로 옮기는 것도 가능합니다.

5개 티스토리 블로그를 워드프레스로 이전하는 작업

참고

https://avada.tistory.com/3752

티스토리 9월부터 애드센스 모바일 전면 광고 금지

https://avada.tistory.com/3574

워드프레스 Auto Spinner 플러그인 - 3번째 구입 (티스토리 블로그 재활용, 번역)