Генератор robots.txt

Генератор, который проверяет сам себя

Готовый файл тут же прогоняется тем же разборщиком, что стоит за нашей проверкой robots.txt. Видно не только текст, но и что он делает: сколько правил получилось, есть ли ошибки синтаксиса и какие именно адреса закрылись. Можно вписать свои адреса и убедиться, что нужное осталось открытым.

Каждая строка объяснена

Рядом с файлом лежит расшифровка: что за папка закрыта и почему. Файл, про который непонятно, откуда он взялся, страшно выкладывать на боевой сайт — одна лишняя строка убирает из поиска целый раздел.

Наборы под движки

Для WordPress, 1С-Битрикс, Joomla, OpenCart, DataLife Engine, MODX, Drupal, PrestaShop, Magento, Webasyst, uCoz и Tilda подставляются служебные разделы: панель управления, кэш, системные папки, служебные адреса с параметрами. Содержимое сайта наборы не трогают: закрывать ли поиск, корзину или страницы с метками, решаете вы.

Чего мы не подставляем

Директиву Host Яндекс отменил, главное зеркало давно задаётся переадресацией и тегом canonical. Поля для неё в генераторе нет вовсе: предлагать отменённую директиву незачем. Crawl-delay не поддерживает Google, о чём сказано в его справке, а Яндекс просит задавать скорость обхода в вебмастере. Поле для неё осталось, но пустое, и рядом стоит предупреждение.

Что делать с готовым файлом

Скачайте его и положите в корень сайта: он должен открываться по адресу вида site.ru/robots.txt. После выкладки стоит проверить файл ещё раз уже по адресу — так вы убедитесь, что сервер отдаёт именно его, а не страницу с ошибкой.