Анализ внешних и внутренних ссылок

Инструмент собирает ссылки со страницы и раскладывает их на внутренние, внешние и ведущие на поддомены. У каждой видны анкор, адрес и то, закрыта ли она от индексации.

Закрытыми считаются ссылки с атрибутом rel в значениях nofollow, sponsored и ugc. Сюда же попадают помещённые в noindex — вместе с записью через комментарий, которую понимает Яндекс. Содержимое обычных HTML-комментариев не учитывается.

Каждая найденная ссылка запрашивается отдельно, поэтому видно, какие из них битые, а какие ведут через переадресацию. Отдельно отмечаются пустые анкоры и повторы одного адреса.

Со страницы собирается до 1000 ссылок, из них на доступность проверяются до 300. К одному домену запросы идут не чаще раза в секунду, а на всю проверку отведено две с половиной минуты. Внутренние ссылки бьют в один и тот же хост, поэтому на больших страницах успевает пройти не всё: непроверенные помечаются в таблице, а не выдаются за исправные.

За раз разбирается одна страница. Результат выгружается в CSV.