Как создать и установить файл robots.txt для WordPress

Как создать и установить файл robots.txt для WordPress

Файл robots.txt служит для улучшения индексации сайта. В директивах файла задаются установки для роботов поисковых систем,

что и как индексировать, а что нет. Указывается основной домен, Sitemap и другое.

Сайт, конечно, будет индексироваться и без созданного файла, но гораздо хуже. Во первых, на сайте имеется множество разделов и файлов не нужных для индексации: admin, login, register и так далее, не говоря уж о дублях страниц, которые очень отрицательно сказываются на ранжировании ресурса.

Файл robots.txt  располагается в корневой папке домена под этим же именем, писать имя с большой буквы — нельзя. 

Рекомендуемый robots.txt для WordPress    

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: сайт
Sitemap: http://сайт/sitemap.xml

#(Примечание: вместо «сайт» - ваш домен)

Как создать и установить файл robots.txt в корневую папку сайта — инструкция

Как правило,  хостинг предоставляет возможность создавать файлы, приведу пример.

В панели управления сайтом на сервере хостинга нужно создать файл с именем «robots.txt»

Как создать и установить файл robots.txt для WordPress  

Установить robots.txt

Как создать  файл robots.txt для WordPress-инструкция

  1. Откройте созданный robots.txt
  2. Скопируйте рекомендованный файл для WordPress
  3. Вставьте в поле содержимое
  4. Вместо «сайт» впишите свой domen.ru
  5. Сохраните изменения

Вы можете увидеть свой файл, набрав в адресной строке браузера: http://сайт.ru/robots.txt, или в сервисе Яндекс.Вебмастер если им пользуетесь.

В дальнейшем, вы можете изменять файл, указывая адреса страниц, которые не нужно индексировать, задавать другие команды ботам. Но нужно знать, что поисковики не гарантируют полного исполнения директив, заданных в robots.txt, но как правило, выполняют их.