Оптимальный robots.txt для WordPress

Robots.txt — файл ограничения доступа к содержимому поисковым роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт sitemaps, который служит прямо противоположной цели — облегчать роботам доступ к содержимому.

Использование файла добровольно. Robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться. Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Сейчас я вам покажу оптимальный, на мой взгляд, robots.txt именно для WordPress. На многих блогах и форумах, связанных тематикой WordPress и не только, ведутся постоянные дискуссии по поводу этого файла и у каждого своё мнение на этот счёт. Вот пример моего файла robots.txt:

Тут представлен простой код, в котором не содержатся команды, наподобие «Crawl-delay», которая выставляет таймаут между загрузками страниц поисковой системой (чаще используется для медленных серверов). Что в итоге мы получим от использования именно такого кода?

Поисковые роботы не будут индексировать файлы и страницы, которые не должны видеть пользователи, предотвращается дублирование контента, правда частичное (это делает ваши записи более весомыми для поисковых систем), поисковый робот сразу найдёт вашу карту сайта. Насчет дублирования контента — тут представлен именно оптимальный robots.txt для WordPress, который подойдет почти всем и каждому. Можно полностью исключить дублирование контента — но это уже дело сугубо индивидуальное.

Следует обратить внимание на то, что строки «Disallow: /*?*» и «Disallow: /*?» не работают с ЧПУ, которые имеют вид по умолчанию в WordPress.

В общем-то всё, что я хотел сказать по этому поводу. Будут вопросы или замечания — пишите, с удовольствием отвечу, помогу и порассуждаю с вами на тему оптимального robots.txt для WordPress.

Один комментарий к Оптимальный robots.txt для WordPress
  1. Figo Ответить

    Да, много я перечитал статей по этому вопросу — везде почти одно и то же, с небольшими изменениями, попробую воспользоваться Вашим вариантом. Спасибо за старания.

Добавить комментарий

Ваш email не будет опубликован. Пожалуйста, введите ваше имя, email и комментарий.