Ссылки из sitemap.xml

Инструмент достаёт все ссылки из sitemap.xml и собирает их в один список страниц сайта. В поле «Адрес карты сайта или домен» годится и адрес самой карты, и просто домен: в обоих случаях разбор пройдёт по всей цепочке, включая индекс карт и каждую вложенную карту, если их несколько. Рядом со списком появится сводка: сколько карт прочитано, сколько адресов найдено и сколько из них без повторов. За один раз читается до 50 карт и до 25 000 адресов; сверх этого инструмент сообщит, что цепочка длиннее.

Где искать карту сайта, если адрес неизвестен

Когда в поле вписан домен, разбор первым делом ищет строку Sitemap в файле robots.txt — там карта сайта объявляется по стандарту. Если объявление не нашлось, проверяются адреса, по которым карта чаще всего и лежит: /sitemap.xml, /sitemap_index.xml, /wp-sitemap.xml (его ставит WordPress) и /sitemap.xml.gz. Карта может отсутствовать вовсе, и тогда инструмент прямо об этом скажет; собрать её поможет генератор карты сайта.

Как читаются индекс карт и сжатые карты

Индекс карт — это файл, который сам адреса не содержит: внутри только ссылки на другие карты. Такой способ нужен большим сайтам, потому что по стандарту одна карта вмещает не больше 50 000 адресов и 50 МБ. Инструмент проходит по индексу и открывает каждую вложенную карту, поэтому список страниц получается полным, сколько бы карт ни было в цепочке.

Сжатые карты с расширением .gz распаковываются при чтении. Текстовая карта, где адрес записан просто в строке, тоже читается. Если в карте описаны картинки или видео, в список попадает страница, к которой они приложены, а не сам файл.

В таблице «Карты» видно каждую карту цепочки и число адресов в ней. Карта, которая не открылась, помечена отдельно.

Какие ошибки карты находит разбор

Блок «Что не так с картой» показывает проблемы строения: файл оборван, в карте больше 50 000 адресов, внутри индекса лежит другой индекс, а вместо карты по адресу пришла обычная страница.

Разбор проверяет и сами адреса. Он замечает относительные ссылки, адреса не http(s), голый знак & вместо & и повторы, а также адреса чужого домена и сайты, где http смешан с https, а www чередуется с адресами без www. Отдельно разбираются даты lastmod: несоблюдение формата год-месяц-день, дата из будущего, одинаковая дата у всех адресов и полное отсутствие дат. Если какая-то карта не открылась, будь она указана в robots.txt или в индексе, это тоже попадёт в находки.

У каждой находки стоит число и до пяти примеров. Чинить первыми стоит нарушения строения и негодные адреса: из-за них карта может читаться не полностью. Смесь http и https или адресов с www и без — признак несклеенных зеркал: поисковик видит копии сайта по разным адресам.

Что делать со списком адресов

Фильтр отбирает адреса по части пути, например по слову «blog». Кнопки разделов делят список по первому каталогу пути: /blog/, /catalog/ и так далее, с числом адресов в каждом разделе.

Кнопки «Скопировать» и «Скачать TXT» выгружают видимые после фильтра адреса, без повторов. Файл «Скачать CSV» содержит адрес, дату изменения и название карты, из которой он взят; такой файл открывается в Excel.

Список пригодится для сверки с индексом поисковика: видно, какие страницы карта отдаёт поисковику на самом деле. Он выручает при переносе сайта и помогает найти страницы, выпавшие из карты после правок.