#robots.txt

Метка в которой собраны записи касающиеся файла robots.txt.

Оптимальный robots.txt для WordPress

Robots.txt — файл ограничения доступа к содержимому поисковым роботам на http-сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт sitemaps, который служит прямо противоположной цели — облегчать роботам доступ к содержимому. Читать далее…

 Вверх