Нашли ошибку?

Генератор robots.txt

Собираем файл под ваш движок и сразу проверяем его нашим же разборщиком: видно не только текст, но и какие адреса он закрывает. К каждой строке есть пояснение.

Подставим служебные разделы этого движка: панель управления, кэш, системные папки. Содержимое сайта наборы не закрывают — за это отвечают галочки ниже.

Нужен только для строки Sitemap — соберём адрес карты сами. Никуда не ходим, сайт не проверяем.

Что закрыть
Добавить свои правила Свернуть свои правила

Можно писать и полностью — Disallow: /papka/, — и просто путь. Недостающее допишем: слеш в начале и слово Disallow.

Тонкая настройка Свернуть тонкую настройку

Оставьте пустым — соберём из адреса сайта выше.

Понимает только Яндекс: он склеит адреса, которые отличаются лишь этими параметрами. Уйдёт в отдельный блок User-agent: Yandex.

Google эту директиву не поддерживает, о чём сказано в его справке, а Яндекс просит задавать скорость обхода в вебмастере. Ставьте, только если сервер и правда не справляется.

Директива отменена: Яндекс её больше не учитывает, главное зеркало задаётся переадресацией и тегом canonical. Поле оставлено для тех, кому оно нужно по старой инструкции.

Проверить, что получилось, на своих адресах Свернуть проверку адресов

Прогоним собранный файл нашим же разборщиком и покажем, какие адреса закрылись, а какие остались открыты.

Генератор, который проверяет сам себя

Готовый файл тут же прогоняется тем же разборщиком, что стоит за нашей проверкой robots.txt. Видно не только текст, но и что он делает: сколько правил получилось, есть ли ошибки синтаксиса и какие именно адреса закрылись. Можно вписать свои адреса и убедиться, что нужное осталось открытым.

Каждая строка объяснена

Рядом с файлом лежит расшифровка: что за папка закрыта и почему. Файл, про который непонятно, откуда он взялся, страшно выкладывать на боевой сайт — одна лишняя строка убирает из поиска целый раздел.

Наборы под движки

Для WordPress, 1С-Битрикс, Joomla, OpenCart, DataLife Engine, MODX, Drupal, PrestaShop, Magento, Webasyst, uCoz и Tilda подставляются служебные разделы: панель управления, кэш, системные папки, служебные адреса с параметрами. Содержимое сайта наборы не трогают: закрывать ли поиск, корзину или страницы с метками, решает не движок, а вы.

Чего мы не подставляем

Директиву Host Яндекс отменил, главное зеркало давно задаётся переадресацией и тегом canonical. Crawl-delay не поддерживает Google, о чём сказано в его справке, а Яндекс просит задавать скорость обхода в вебмастере. Обе строки доступны отдельными полями, но по умолчанию их нет и рядом стоит предупреждение.

Что делать с готовым файлом

Скачайте его и положите в корень сайта: он должен открываться по адресу вида site.ru/robots.txt. После выкладки стоит проверить файл ещё раз уже по адресу — так вы убедитесь, что сервер отдаёт именно его, а не страницу с ошибкой.

Другие инструменты

Генератор названий компаний

Названия для компании по отрасли или из вашего слова

Генератор ФИО

Случайные ФИО с отчеством, возрастом и датой рождения

Генератор английских имён

Случайные английские имена со вторым именем, возрастом и датой рождения

Генератор никнеймов

Собираем ники из осмысленных слов по теме, а не случайные наборы букв

Генератор HTML-ссылок

Готовый код ссылки: обычной, на почту, телефон или якорь