워드프레스 Robots.txt 위치 네이버 구글 검색차단 문제해결

검색엔진 Robots.txt 로봇 검색 차단 해결방법

자신의 홈페이지 사이트를 쉽게 검색엔진에 노출시키기 위해서는 기본적으로 사이트맵과 RSS를 생성하는 작업을 할텐데요 우리가 아무리 지도를 잘 만들어 배포하더라도 Robots.txt 가 들어올 수 있는 문을 열어 놓지 않는다면 검색봇이 들어오지 못합니다.

우선 워드프레스기준 Robots.txt 위치와 네이버 웹마스터도구와 구글 서치콘솔등 검색 차단시에 검색허용으로 변경하는 방법에 대해 알아보도록 하겠습니다.

워드프레스 검색누락 검색엔진이 이사이트를 차단설정
워드프레스 검색누락 검색엔진이 이사이트를 차단설정

기본적으로 워드프레스 검색엔진에 등록해서 노출이 되길 원한다면 관리자페이지에서 검색엔진 가시성을 체크합니다.

일단의 예로 네이버웹마스터도구에 들어가 웹페이지 최적화 검증을 실행해봅니다.

구글 서치콘솔 – 구글검색 누락 색인요청 및 속도개선

구글검색엔진 등록 누락 시 참고

네이버 웹마스터도구 최적화

네이버 웹마스터 웹페이지 최적화 검증
네이버 웹마스터 웹페이지 최적화 검증

그리고 검증을 해보면 검색로봇에 문제가 발생했음을 볼 수 있습니다.

조회한 웹 페이지가 robots.txt 파일로 네이버 검색로봇의 접근을 차단하고 있습니다.

이렇게 로봇의 TXT 파일이 검색 봇이 들어오지 못하게 문을 잠그고 있습니다.

그렇다면 문을 열수 있게 문을 만들어줘야 합니다.

robots.txt 생성
검색봇 생성

메모장을 하나 엽니다.

그리고 파일제목은 “robots.txt” 정합니다.

그리고 각각 원하는 설정갑으로 입력합니다.

네이버 검색로봇만 접근 가능하게 설정

User-agent: Yeti
Allow: /

모든 검색엔진의 로봇에 대하여 접근 가능하게 설정

User-agent: *
Allow: /

사이트의 루트 페이지만 접근 가능하게 설정

User-agent: *
Disallow: /
Allow: /$

각각 원하는 설정값으로 입력 후 저장을 해 FTP 프로그램을 이용해 업로드합니다.  

robots.txt 간단 생성

 다른 방법으로는 네이버 웹마스터도구에서 손쉽게 검색봇 파일을 간단하게 생성할 수 있습니다. 모든 검색로봇이 수집할수 있게와 네이버 검색로봇만이 수집할수 있게 할것인지 선택후 다운로드 합니다.

워드프레스 Robots.txt 위치

워드프레스 Robots.txt 위치 업로드
워드프레스 Robots.txt 위치

그리고 저는 파일질라를 이용해 최상위 위치에 robots.txt 파일을 업로드 했습니다.

robots.txt 파일 위치는 루트위치 “Root“에 있으나 간혹 사이트맵과 SEO Plugin 등에서 로봇파일을 별도로 설정하는 경우가 있습니다.

만약 찾기가 힘든분들은 워드프레스 플러그인으로 추가할 수 있습니다.

참고 : 네이버 웹마스터도구 색인 안될때 해결방법

워드프레스 Robots.txt 수정 플러그인

워드프레스 robots.txt 수정 1
Robots.tx Editor

플러그인 Robots.tx Editor 설치해서 설정으로 들어갑니다.

그리고 원하는 코드를 추가하고 저장하면 robots.txt 수정이 완료됩니다.

Robots.txt 로봇 검색 차단 6

  이렇게 업로드 후 로봇툴 검증을 통해 수집요청을 해본 결과 Allow 로 변경된것을 볼 수 있습니다.   이후 하단의 수집가능여부를 확인해봅니다.  

Robots.txt 로봇 검색 차단 7

 정상적으로 수집이 가능한 상태라고 표시되느것을 볼 수 있습니다.

네이버웹마스터 도구

You may also like...

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

노랗 목차