robots.txt, карта сайта и разметка: как сайт разговаривает с машинами

У сайта два читателя: человек и машина. Второму всё равно, как выглядит страница, — ему важно, что написано в трёх скучных файлах.

Человек смотрит на страницу. Машина читает документ: структуру, разметку и три файла в корне, которых человек никогда не откроет. От них зависит, что попадёт в выдачу, как развернётся ссылка в мессенджере и что ответит ассистент, если его спросят про вашу компанию.

robots.txt

Самый маленький файл и самый опасный. Он говорит, куда роботу можно, и одна лишняя строчка в нём убирает сайт из поиска целиком — обычно вместе с релизом, когда забыли снять запрет со стенда.

Чего он не делает: не прячет страницу. Запрет на обход — это не запрет на показ; закрытая от обхода страница может остаться в выдаче строкой без описания. Если страница не должна попадать в поиск, это говорится метой `noindex` на самой странице, а не в `robots.txt`. У нас так закрыты только служебные ручки.

Карта сайта

Список адресов, которые вы считаете страницами. Она не влияет на позиции — она влияет на скорость: без неё поиск ищет ваши страницы по ссылкам, с ней получает список сразу.

Две ошибки. Первая — карта, которую правят руками: она отстаёт ровно на последнюю публикацию. Вторая — карта, в которой лежат адреса с редиректами и закрытые от индексации страницы: это разговор, в котором вы даёте машине заведомо неверные данные.

Разметка страницы

Заголовки по уровням, а не по кеглю. `JSON-LD` для организации и для статьи — то, из чего собирается карточка в выдаче. Открытая графовая разметка для мессенджеров: без неё ссылка разворачивается пустым прямоугольником, и это единственный формат, где ошибка видна мгновенно и всем.

Соцкарточку лучше держать картинкой на диске, а не рисовать на лету: генерация на лету падает вместе с рантаймом, а картинка лежит.

llms.txt

Новый файл, необязательный, и пока о нём спорят. Смысл простой: короткое описание для языковых моделей — что это за продукт, кому он, где что лежит. Правило то же, что и для меты: **не класть туда цифры, которые вы забудете обновить.** Протухшая цена в файле, который цитирует ассистент, хуже, чем отсутствие цены.

Что здесь делает шаблон

`robots.txt`, карта сайта и `llms.txt` приезжают вместе с шаблоном и связаны с настройками сайта, а не написаны отдельно. Карта обходит маршруты и статьи. `JSON-LD` и графовая разметка собираются из той же меты, из которой рисуются соцкарточки, — по одной картинке на маршрут и язык, чтобы русская страница не разворачивалась английским заголовком.