워드프레스 네이버 검색 차단 해결 방법: robots.txt 파일 설정

워드프레스 사이트를 운영하다 보면, 네이버 검색엔진에서 내 사이트가 제대로 색인되지 않거나, 아예 차단되는 경우가 발생할 수 있습니다. 이러한 문제는 주로 robots.txt 파일 설정과 관련이 있습니다.

이 글에서는 네이버 검색 차단 문제를 해결하는 방법과 robots.txt 파일을 올바르게 설정하는 방법을 단계별로 설명하겠습니다.

robots.txt 파일이란?

robots.txt는 웹사이트의 루트 디렉터리에 위치한 텍스트 파일로, 검색 엔진 크롤러(봇)에게 어떤 페이지를 크롤링할 수 있고, 어떤 페이지는 크롤링하지 말아야 하는지에 대한 지침을 제공합니다. 이를 통해 사이트 관리자는 특정 페이지나 디렉터리가 검색엔진에 노출되지 않도록 제어할 수 있습니다.

예를 들어, 구글의 크롤러는 Googlebot, 네이버의 크롤러는 Yeti라는 이름을 가지고 있으며, 이들 봇은 robots.txt 파일을 읽고 해당 사이트에서 허용된 페이지만 크롤링합니다.

네이버 검색 차단 문제의 원인

네이버에서 워드프레스 사이트가 검색되지 않는 이유는 여러 가지가 있을 수 있지만, 가장 흔한 원인은 robots.txt 파일 설정 오류입니다. 잘못된 설정으로 인해 네이버의 Yeti 봇이 사이트에 접근하지 못하게 되는 경우가 발생합니다. 또한, 일부 보안 플러그인이나 방화벽 설정이 네이버 봇의 접근을 차단할 수도 있습니다.

주요 원인:

• 잘못된 robots.txt 설정: 특정 봇을 차단하거나 모든 봇에 대해 접근을 막는 설정이 있을 수 있습니다.
• 보안 플러그인: 일부 보안 플러그인(예: NinjaFirewall)이 네이버 봇의 접근을 차단할 수 있습니다.
• 캐시 문제: 캐시 플러그인이 robots.txt 파일을 제대로 반영하지 못하는 경우도 있습니다.

워드프레스에서 네이버 검색 차단 해결 방법

1. robots.txt 파일 확인 및 수정

먼저, 워드프레스 사이트의 robots.txt 파일을 확인해야 합니다. 이 파일은 워드프레스 루트 디렉터리에 위치해 있으며, 사이트의 SEO 플러그인을 통해 쉽게 접근하고 수정할 수 있습니다.

기본적인 robots.txt 설정 예시:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

위 설정은 모든 검색 엔진에 대해 wp-admin 디렉터리만 비공개로 하고 나머지는 공개하는 기본적인 설정입니다. 하지만 네이버의 Yeti 봇이 제대로 작동하도록 하려면 추가적인 설정이 필요합니다.

네이버 전용 설정 추가:

User-agent: Yeti
Allow: /

여기서 Yeti는 네이버의 검색 로봇입니다. Allow: /는 Yeti가 사이트 전체를 크롤링할 수 있도록 허용하는 명령입니다. 이 코드를 추가하면 네이버 봇이 사이트에 접근할 수 있게 됩니다.

2. SEO 플러그인 활용

워드프레스에서 SEO 플러그인을 사용하면 robots.txt 파일을 쉽게 관리할 수 있습니다. 대표적인 SEO 플러그인으로는 Rank Math SEO와 Yoast SEO가 있으며, 이들 플러그인을 통해 robots.txt 파일을 직접 수정하거나 자동으로 생성할 수 있습니다.

Rank Math SEO에서 robots.txt 수정 방법:

1. 워드프레스 관리자 페이지에서 Rank Math SEO > 일반 설정 > Robots.txt 편집으로 이동합니다.
2. 필요한 코드를 추가하거나 수정한 후 저장합니다.

3. 보안 플러그인 점검

일부 보안 플러그인이 네이버 봇의 접근을 차단하는 경우가 있습니다. 특히 NinjaFirewall과 같은 방화벽 플러그인은 최근 업데이트 이후 문제가 발생하기도 합니다. 이를 해결하려면 해당 플러그인을 비활성화하거나 다른 보안 플러그인으로 교체해 보는 것이 좋습니다.

대체 가능한 보안 플러그인:

• Wordfence
• Sucuri Security

보안 플러그인을 비활성화한 후에도 문제가 지속된다면, 웹 호스팅 업체에 문의하여 서버 방화벽이나 기타 보안 설정이 문제가 되는지 확인해야 합니다.

4. 캐시 문제 해결

워드프레스에서 캐시 플러그인을 사용하는 경우, 캐시된 내용 때문에 robots.txt 파일이 제대로 반영되지 않을 수 있습니다. 이럴 때는 캐시를 지우거나 특정 파일에 대해 캐시 예외 처리를 해야 합니다.

WP Rocket 등 캐시 플러그인에서 예외 처리 방법:

1. 캐시 플러그인의 설정 페이지로 이동합니다.
2. robots.txt와 같은 특정 파일이나 URL을 캐싱하지 않도록 예외 처리를 추가합니다.
3. 캐시를 삭제하고 다시 테스트합니다.

5. 네이버 서치어드바이저에서 확인

모든 설정을 마친 후에는 네이버 서치어드바이저에 접속하여 내 사이트가 정상적으로 크롤링되고 있는지 확인해야 합니다.

확인 절차:

1. 네이버 서치어드바이저에 접속합니다.
2. 웹마스터 도구로 들어가서 내 사이트 URL을 입력하고 간단 체크를 실행합니다.
3. 네이버 검색로봇이 사이트에 접근해 정보를 수집할 수 있습니다.라는 진단 결과가 나오면 정상적으로 설정된 것입니다.

자주 묻는 질문 (FAQ)

Q1: 왜 내 워드프레스 사이트가 네이버에 노출되지 않나요?

A1: 가장 흔한 이유는 robots.txt 파일의 잘못된 설정입니다. 또한, 보안 플러그인이나 서버 방화벽이 네이버 봇의 접근을 차단할 수도 있습니다.

Q2: robots.txt 파일 없이도 구글이나 네이버에서 내 사이트를 크롤링하나요?

A2: 기본적으로 구글과 네이버는 robots.txt 파일 없이도 웹사이트를 크롤링할 수 있지만, 불필요한 페이지까지 색인될 가능성이 있어 적절히 설정하는 것이 좋습니다.

Q3: Rank Math SEO와 Yoast SEO 중 어느 것이 더 좋나요?

A3: 두 플러그인은 모두 훌륭한 SEO 도구입니다. Rank Math는 더 많은 기능과 직관적인 인터페이스를 제공하며, Yoast SEO는 오랜 시간 동안 검증된 안정성을 자랑합니다.

Q4: 특정 검색엔진만 차단하고 싶습니다. 어떻게 해야 하나요?

A4: 특정 검색엔진만 차단하려면 해당 검색엔진의 User-agent 이름과 함께 Disallow 명령어를 사용하면 됩니다. 예를 들어, 구글만 차단하려면 User-agent: Googlebot과 Disallow: /를 사용하세요.

Q5: 보안 플러그인을 비활성화해도 괜찮나요?

A5: 일시적으로 비활성화하여 문제가 해결되는지 확인하는 것은 괜찮지만, 장기적으로 보안 위험이 있을 수 있으니 다른 보안 대책을 마련해야 합니다.

결론

워드프레스에서 네이버 검색 차단 문제를 해결하기 위해서는 robots.txt 파일을 올바르게 설정하고, 보안 플러그인과 캐시 문제를 점검해야 합니다. 특히 네이버의 Yeti 봇이 제대로 작동하도록 허용하는 것이 중요합니다. 모든 작업 후에는 반드시 네이버 서치어드바이저에서 상태를 확인하여 문제가 없는지 점검하세요.