안녕하세요, 이번 포스팅은 워드프레스 robots.txt 파일 편집 방법 대해서 작성하도록 하겠습니다.
워드프레스를 사용하게 되면 직접적으로 검색 포털 사이트에서 해당 글을 색인할 수 있도록 설정을 해야 하는데 그중에 하나가 바로 robots.txt 파일 편집입니다.
그럼 워드프레스 운영 관리의 하나인 워드프레스 robots.txt 파일 편집 방법 대해서 자세히 알려 드리도록 하겠습니다.
robots.txt 파일 역할 설명
: 먼저 robots.txt 파일 역할에 대해서 설명 드리도록 하겠습니다.
검색 포털 사이트는 사람이 해당 사이트에 대한 정보를 크롤링 하는 게 아니고 로봇을 이용하여 수집을 하게 됩니다.
그런데 이런 로봇이 해당 사이트에 접속하여 수집을 가능하게 허락하는 설정이 바로 robots.txt 파일 입니다.
사실 네이버블로그나 티스토리의 경우 해당 파일을 수정할 수 있는 권한도 없고 수정할 필요도 없기 때문에 워드프레스를 처음 이용하시는 분들에게는 처음 배워야 하는 사항입니다.
이런 robots.txt 를 제대로 설정을 하지 못하면 글을 많이 썼음에도 불구하고 구글이나 네이버 그리고 다른 검색 포털에서 해당 글을 제대로 크롤링할 수 없기 때문에 검색 노출의 속도가 느릴 수도 있습니다.
그러므로 꼭 robots.txt 파일 관리를 잘 하셔야 합니다.
참고로 robots.txt 저장위치는 자신의 도메인 주소 바로 뒤 “robots.txt” 라고 입력을 하시면 해당 항목을 확인할 수 있습니다.
– 예시 robots.txt 접속 URL : https://www.abc.com/robots.txt
워드프레스 robots.txt 파일 편집 방법
: 그럼 위에서 설명 드린 robots.txt 파일 편집하는 방법에 대해서 설명드리도록 하겠습니다.
robots.txt 파일을 수정하는 방법은 크게 2가지가 있습니다.
하나는 파일질라와 같은 FTP 프로그램을 통한 수정 방법과 워드프레스 플러그인을 통한 수정 방법이 있습니다.
1) FTP 프로그램을 통한 수정방법
: 먼저 FTP 프로그램을 통한 수정방법 대해서 설명 드리도록 하겠습니다.
일단 robots.txt 파일을 만들어줘서 업로드를 해주시면 되는데 메모장을 실행을 시켜 아래와 같은 기본적인 설정 값을 입력 후 파일 이름을 “robots.txt”로 변경을 해주시면 됩니다.
– robots.txt 파일 기본 설정 내용
- User-agent: *
- Disallow: /private/
- Allow: /public/
간단히 설명을 드리면 “User-agent: *”는 모든 크롤러에게 적용되는 지시를 의미합니다.
그리고 Disallow로 설정이 되어 있는 것은 크롤러 로봇이 접근을 못하게 하는 것이고 Allow 로 설정되어 있는 것은 접근이 가능한 것으로 설정을 한 것입니다.
이렇게 robots.txt 파일을 만들었다면 파일질라나 알FTP 프로그램 중에 하나를 이용하여 해당 파일을 워드프레스 디렉터리에 업로드를 해주셔야 합니다.
제가 설명 드리는 방법은 파일질라를 이용하는 방법입니다.
일단 파일질라를 실행하고 워드프레스 계정 로그인을 한 후 최상위 위치에 robots.txt 파일을 업로드를 해주시면 됩니다.
2) 워드프레스 Robots.txt Editor 플러그인 통한 수정방법
: 2번째 방법은 워드프레스 플러그인을 통한 수정방법에 대해서 설명드리도록 하겠습니다.
robots.txt 수정하는 플러그인은 여러개 있는데 제가 개인적으로 사용하는 플러그인은 Robots.txt Editor 플러그인입니다.
플러그인에서 검색 후 해당 플러그인을 설치 후 설정으로 들어가면 하단 부분에 robots.txt 항목이 보일 겁니다.
입력된 항목에서 수정을 하고자 하는 항목을 수정 or 삭제를 해주시고 아래 부분에 저장을 해주시면 됩니다.
혹 중간에 복구가 필요할 수 있으니 해당 내용은 다른 파일에 백업해 두고 작업하시는 걸 추천드립니다.
함께 보면 도움이 되는 글
이상입니다. 지금까지 워드프레스 robots.txt 파일 편집 방법 대해서 포스팅을 작성하였습니다.
제 포스팅을 통해서 조금이나마 워드프레스 운영하시는데 도움이 되셨으면 합니다. 감사합니다.
