워드프레스 Yoast SEO에서 Robots.txt 파일 편집하기

워드프레스 정보를 제공하는 블로그 Avada 2025. 9. 28. 12:13 • 댓글: 개

워드프레스를 설치하면 동적으로 robots.txt 파일이 생성됩니다. robots.txt 파일을 편집해야 하는 상황이 발생할 수 있습니다. 그런 경우 보통 FTP에 접속하여 루트 디렉터리에 robots.txt 파일을 만들어서 편집할 수 있습니다. FTP를 이용하는 것에 부담을 느끼거나 FTP 접속이 불가능한 경우에는 Yoast SEO나 Rank Math와 같은 SEO 플러그인에서 제공하는 robots.txt 파일 편집 기능을 이용할 수 있습니다.

워드프레스 Yoast SEO에서 Robots.txt 파일 편집하기

robots.txt 파일은 웹사이트의 루트 디렉터리에 위치하는 단순한 텍스트 파일로, 검색 엔진 크롤러(봇)에게 어떤 페이지나 디렉터리를 크롤링할 수 있고 어떤 곳은 차단해야 하는지를 알려주는 역할을 합니다. 이 파일은 웹 표준인 Robots Exclusion Protocol(로봇 배제 프로토콜)을 기반으로 하며, 사이트 운영자가 검색 엔진의 접근을 제어하는 기본적인 수단입니다. 예를 들어 Disallow 지시어를 통해 특정 경로를 차단하거나, Allow 지시어를 통해 접근을 허용할 수 있습니다.

로봇 파일의 목적은 웹사이트 콘텐츠를 보호하거나 서버 자원 낭비를 줄이며, 의도치 않은 페이지가 검색 결과에 노출되는 것을 방지하는 것입니다. 다만 robots.txt는 보안 도구가 아니라 단순한 권고 사항이므로, 악의적인 크롤러가 이를 무시할 수 있습니다. 따라서 중요한 데이터는 반드시 별도의 접근 제어 방식(예: 비밀번호 보호, 서버 설정)을 통해 막아야 하며, robots.txt는 검색 엔진 최적화(SEO)와 사이트 크롤링 관리 측면에서 활용하는 것이 바람직합니다.

워드프레스 사이트를 설치하면 기본적으로 다음과 같은 robots.txt 파일이 동적으로 생성됩니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://your-domain.com/wp-sitemap.xml

robots.txt 파일을 편집하려면 robots.txt 파일을 만들어 FTP를 통해 사이트의 루트 디렉터리로 업로드할 수 있습니다. 다른 방법으로 Yoast SEO나 Rank Math와 같은 SEO 플러그인을 사용하고 있다면 SEO 플러그인에서 제공하는 로봇 파일 편집 기능을 활용할 수 있습니다.

워드프레스 관리자 페이지에서 Yoast SEO » 도구로 이동한 다음, 파일 편집기를 클릭합니다.