워드프레스 feed 페이지: "크롤링됨 - 현재 색인이 생성되지 않음" 에러

구글 서치 콘솔의 "색인 생성 범위"에서 색인 생성 오류와 색인에서 제외된 항목들을 확인할 수 있습니다. 제 메인 워드프레스에서는 7만 개 이상의 URL이 색인에서 제외된 것으로 표시되고 있습니다.

워드프레스 feed 페이지: "크롤링됨 - 현재 색인이 생성되지 않음" 에러

상세정보 섹션에서 구체적인 유형을 확인할 수 있습니다.

리디렉션이 포함된 페이지 유형이 가장 많은 비중을 차지고 있습니다. 리디렉션이 포함된 페이지 유형을 살펴보니 URL이 바뀌면서 리디렉션되거나 AMP를 비활성화하면서 리디렉션을 설정한 URL 등이 여기에 포함되어 있었습니다. 또한, 워드프레스 기본 고유주소(example.com/?p=123 형식)로 된 URL도 상당수 발견되었습니다.

두 번째로 많은 유형이 "적절한 표준 태그가 포함된 대체 페이지"인데요. 이 유형의 URL을 살펴보니 URL 끝에 [**/?mod=editor**], [**?s=**], [**/?kboard_content_redirect=152**] 등과 같이 파라미터가 추가되어 있었습니다. 이 유형은 무시해도 될 것 같습니다.

제 워드프레스 블로그에서는 9000개가 넘는 URL이 "크롤링됨 - 현재 색인이 생성되지 않음" 유형으로 색인에서 제외된 것으로 표시되고 있습니다.

구체적으로 어떤 항목들이 여기에 해당되는지 확인해보니 대부분 [**/feed/**]로 끝나는 URL들이었습니다.

여기에 대해 Yoast SEO에서는 다음과 같이 설명하고 있습니다.

These could be pages created by WordPress automatically, like /feed/ pages meant for RSS readers, and not meant for regular visitors, so they are not indexed.

이러한 항목들은 RSS 리더용인 /feed/ 페이지와 같이 워드프레스에서 자동으로 생성된 페이지일 수 있으며, 이러한 페이지는 정상적인 방문자를 위한 것이 아니므로 색인되지 않습니다.

따라서 [**/feed**] 페이지가 색인 생성되지 않는 것은 오류가 아니므로 무시해도 될 것 같습니다. 경우에 따라 /feed/ 페이지가 색인이 되기도 합니다. [Please Help Me] Tag Feed are indexing on google ! how to stop it ?에서는 태그 피드(Tag Feed) 페이지가 구글에서 인데싱되고 있는데, 이를 막는 방법에 대하여 질문하고 있습니다.

We understand that Google is showing the /feed in the search results which you don’t wish to see. Yoast SEO doesn’t generate the /feed but WordPress itself does. However, Google still shouldn’t show the /feed in the search results for you.

To disable the /feed indexing and showing them in the search results, you can add the noindex robots in the HTTP header of the /feed URL. Unfortunately, the Yoast SEO plugin has no such feature for this. So, you may want to either use a 3rd party plugin or manually implement such code on your site.

구글에서 검색 결과에 /feed를 표시하지 않지만 질문자가 이를 원하지 않는 것으로 이해되네요. Yoast SEO에서는 /feed를 생성하지 않고 워드프레스 자체에서 생성합니다. 구글은 검색 결과에 /feed를 표시하지 않아야 합니다.

/feed 색인과 검색 결과에 표시하는 것을 비활성화하려면 /feed URL의 HTTP 헤더에 noindex robot을 추가할 수 있습니다. 그러나 Yoast SEO 플러그인에는 그러한 기능일 없습니다. 그러므로 다른 플러그인을 사용하거나 직접 그러한 코드를 구현할 수 있을 것입니다.

마치며

사이트를 개설한 초기에는 구글 서치 콘솔에서 잘 색인이 안 되는 현상이 발생할 수 있습니다. 하지만 시간이 지나면서 정상적으로 색인이 될 것입니다. 초기에는 수동으로 페이지 수집 요청을 할 수 있습니다.

구글에 색인 생성 요청 방법 (수동으로 글 URL 제출하기)

구글에서는 (구글이 공식적으로 인정하지 않지만) 구글 샌드박스 기간이 있어서 초기 5~6개월 정도는 구글 유입이 거의 없을 수도 있습니다. 샌드박스 기간이 지나면 방문자가 유의미하게 늘어날 것입니다. 하지만 가치가 없는 콘텐츠(예: 제휴 관련 글)가 주를 이루는 사이트는 구글에 잘 노출되지 않을 수 있습니다.

참고

https://avada.tistory.com/2279

워드프레스 수익형 블로그 만들기

https://avada.tistory.com/2659

워드프레스 엘리멘터 헤더 템플릿 만들기 (헤더 & 푸터 커스텀)