Проверка robots.txt

Что проверяется

Файл разбирается построчно: опечатки в директивах, правила без слеша в начале, правила до первого User-agent, относительный адрес карты сайта, метка порядка байтов в начале файла. Отдельно отмечаются директивы, которые понимает не каждый робот, и объясняется, кто именно их читает.

Видно, какое правило сработало

Вердикт «адрес закрыт» без объяснения помогает мало: непонятно, что править. Рядом с ответом стоит сработавшее правило и номер строки файла. Само правило выбирается так же, как его выбирают поисковики: побеждает самое длинное подходящее, а при равной длине сильнее Allow.

Разница между роботами

Один и тот же адрес бывает закрыт для Яндекса и открыт для Google. Причина в том, что робот, для которого в файле есть свой блок, общий блок со звёздочкой уже не читает. Таблица показывает ответы всех роботов рядом, а не по одному переключателю.

Черновик до выкладки

Содержимое файла можно вставить в поле и проверить, ничего не выкладывая на сайт. Разбор при этом тот же самый, только за файлом мы не ходим.

Чего избегать

Закрытые стили и скрипты мешают Google увидеть страницу так, как её видит посетитель: об этом сказано в его справке. Ответ сервера с ошибкой на запрос robots.txt опаснее отсутствия файла, потому что Google какое-то время считает такой сайт закрытым целиком. И две строки, которые путают чаще всего: пустой Disallow: обход разрешает, а Disallow: / закрывает весь сайт.