Генератор llms.txt

llms.txt — текстовый файл в корне сайта, по которому языковые модели узнают, что на сайте главное. Формат описан на llmstxt.org: название сайта заголовком, краткое описание цитатой и разделы со списками ссылок.

Как собирается файл

Укажите адрес сайта. Мы найдём карту сайта по строкам Sitemap в robots.txt или по адресу /sitemap.xml, прочитаем вложенные и сжатые карты и отберём до тысячи страниц. У первых трёхсот прочитаем заголовки, у остальных название возьмём из адреса: так сайт не получает сотни запросов подряд. Такие страницы встают в раздел «Другие страницы» с пометкой Optional. Страницы раскладываются по разделам сайта: всё, что лежит в /blog/, попадёт в один раздел. Название раздела берётся у его первой страницы.

В файл не попадают страницы списков и тегов, поиск, корзина и вход, файлы и картинки, адреса, закрытые в robots.txt или тегом noindex. Сколько адресов отсеяно и почему, видно под результатом.

Правка перед скачиванием

Лишнюю страницу или раздел снимите галочкой. Раздел, без которого можно обойтись, отметьте «в Optional»: по описанию формата такие ссылки пропускают, когда нужен короткий обзор сайта. Название и описание сайта правятся в полях над списком, файл пересобирается сразу.

Если карты сайта нет или нужны только избранные страницы, выберите «По своему списку» и вставьте адреса по одному в строке.

Проверка готового файла

Режим «Проверить готовый» читает /llms.txt на сайте и сверяет его с описанием формата: заголовок с названием идёт первым и он один, разделы оформлены заголовками второго уровня, в разделах списки ссылок. Заодно проверяем, открываются ли первые сорок ссылок из файла.