robots.txt 파일은 웹사이트의 루트 디렉토리에 위치하며, 검색엔진 크롤러가 웹사이트의 어느 부분을 크롤링하거나 크롤링하지 말아야 하는지 지시하는 역할을 하며 이 파일은 검색엔진의 자동 크롤러나 봇이 사이트에 접근할 때 처음으로 참조하는 파일로서 워드프레스에서 검색엔진 로봇이 들어올 수 있도록 하기 위해서는 Robots.txt 파일을 수정을 하거나 파일을 새로 생성해서 넣어줘야합니다.
기본적으로 워드프레스 설정상 Robots.txt 차단하는 경우는 없지만 일부의 경우 검색엔진 수집을 하지 못하도록 차단하거나 다음 웹마스터도구에 검색엔진 등록을 위해서는 로봇을 수정해야 하는데 보통 이파일을 수정하기 위해서는 FTP 프로그램을 활용해 워드프레스 ROBOTS.TXT 수정해야 하지만 이부분이 어려운 분들을 위해 수정방법에 대해 알아보도록 하겠습니다.
가장 먼저 파일질라나 알FTP와 같은 프로그램을 통한 편집방법과 플러그인을 통한 수정방법이 있습니다.
워드프레스 Robots’txt 파일 사용용도
웹사이트에서 Robots.txt 파일은 구글검색엔진 및 네이버검색엔진, 다음, 줌, 빙 등 다양한 검색엔진등에서 색인을 생성하고 등록할 수 있도록 하는 역활을 하며 이 Robots.txt 파일을 통해 웹페이지에 크롤링 되지 않도록 할 수 있습니다.
그 외에도 너무 많은 크롤러가 웹사이트에 들어와 트래픽을 증가시킨다면 이러한 크롤지연을 설정할 수 있으며 이렇게 만들어진 Robots.tx 파일은 사이트맵의 위치를 지정해서 워드프레스 구조를 설정할 수 있는 역할을 합니다.
워드프레스를 설치한 루트 디렉토리에 robots.txt 파일을 만들거나 편집하여 사용할 수 있습니다.
- FTP 클라이언트나 웹호스팅 제어판의 파일 관리자를 사용하여 워드프레스가 설치된 디렉토리로 이동합니다.
- 해당 디렉토리에
robots.txt파일이 있는지 확인합니다. - 있으면 해당 파일을 편집하고, 없으면 새로 만듭니다.
워드프레스에는 robots.txt 파일을 생성하고 관리하는 데 도움을 주는 여러 플러그인도 있습니다. 예를 들어, “Yoast SEO“와 같은 SEO 플러그인은 robots.txt 파일을 직접 편집할 수 있는 기능을 제공합니다.
마지막으로, robots.txt 수정 시 항상 주의가 필요합니다. 잘못된 설정은 검색엔진이 웹사이트의 중요한 부분을 크롤링하지 못하게 만들 수 있으므로, 변경 사항을 적용하기 전에 항상 내용을 확인하세요.
FTP 프로그램을 통한 Robots.txt 수정방법
Robots.txt 파일을 생성하거나 수정하기 위해서는 메모장을 사용해 새로 만들어가 수정해도 됩니다.
워드프레스의 Robots.txt 저장위치는 기본적으로 아래 위치해 있으며 직접 다운로드 받아 수정하거나 플러그인을 통해 수정 편집이 가능합니다.
- 웹사이트의 주소가
https://www.example.com이면,robots.txt파일의 위치는https://www.example.com/robots.txt가 되어야 합니다.
만약 워드프레스를 사용하고 있다면, 워드프레스가 설치된 디렉토리의 루트에 robots.txt를 위치시켜야 합니다.
별도의 로봇을 수정하거나 만들고 싶다면 메모장을 열어 원하는 내용을 적어 저장합니다.
네이버 검색로봇만 접근 가능하게 설정하고 싶다면 아래와 같이 입력합니다.
| User-agent: Yeti Allow: / |
그럼 네이버 뿐만 아니라 구글이나 다음, 줌 등 모든 웹사이트에서 크롤러가 접근해서 색인 수집이 가능하게 합니다.
| User-agent: * Allow: / |
| User-agent: * Disallow: / Allow: /$ |
만약 자신의 워드프레스가 검색엔진에 색인되어 노출되기 원하지 않는다면 로봇차단 명령어로 입력 후 저장해줍니다.
그럼 직접 웹사이트 주소를 입력 해 다이렉트로 접속하지 않는다면 검색엔진에는 노출이 되지 않습니다.
저는 파일질라를 통해 자신의 워드프레스 계정에 접속합니다.
그리고 작성된 robots.txt 파일을 메모장으로 만들어 업로드 하거나 기존의 robots.txt 위치에 있는 파일을 열어 Robots.txt 수정하고 재 업로드합니다.
워드프레스 robots.txt 위치는 최상위 www에 위치해 있으며 별도로 숨겨진 경우나 찾지 못하는 경우 플러그인으로 해결할 수 있습니다.
워드프레스 Robots.txt 수정 플러그인
robots.txt Editor Plugin
다른방법으로는 플러그인을 사용하느것으로 기본적으로 robots.txt Editor 가볍고 사용방법이 쉽습니다.
플러그인을 바로 설치하고 설정으로 들어갑니다.
기존의 로봇툴 코드에 원하는 문구를 추가하거나 삭제할 수 있습니다.
직접 FTP 프로그램을 사용하기 어렵다면 이러한 플러그인을 통해 워드프레스 ROBOTS.TXT 수정 하는것이 편리합니다.
Rank Math SEO Plugin
마지막으로 제가사용하는 방법으로 SEO 플러그인중에서 최근에 제가 사용하는 것으로 이를 사용하면 Edit Robots.TXT를 수정할 수 있어서 별도로 플러그인을 추가할 필요가 없고 사이트맵과 함께 다양한 기능을 제공해서 애용합니다.
이때 아래와 같이 사이트맵 파일도 함께 검색엔진에 허용하도록 설정하는것을 권장합니다.
User-agent: *
Disallow:
Sitemap: https://homepage.co.kr/sitemap.xml
Sitemap: https://homepage.co.kr/post-sitemap.xml
Disallow: /wp-admin/
Disallow: /readme.html그 외에도 404 Monitor를 통해 오류를 확인하고 .Httaccess 파일을 수정하느것도 가능합니다.
검색엔인 등록 요청방법
- 빙 웹마스터도구 검색엔진최적화 사이트맵 RSS 등록
- 구글 서치콘솔 등록 및 사이트맵 RSS 제출방법
- 사이트맵 제출 RSS 등록 네이버웹마스터도구 최적화
- 네이버 웹마스터도구 Open Graph 제목 설명이 없습니다.