SEO
robots.txt и sitemap.xml для статического сайта
Как создать два служебных файла, не закрыть сайт случайной директивой и перечислить реальные страницы.
`robots.txt` задаёт правила обхода, а `sitemap.xml` перечисляет адреса страниц. Оба файла лежат в корне сайта и доступны по `/robots.txt` и `/sitemap.xml`. Они решают разные задачи: sitemap не отменяет запрет в robots.
## Минимальный robots.txt
Для открытого сайта подходит короткая конфигурация:
```text
User-agent: *
Allow: /
Sitemap: https://example.ru/sitemap.xml
```
Директива `Disallow: /` закрывает обход всего сайта. Её часто оставляют после разработки, поэтому содержимое файла нужно читать перед публикацией, а не только проверять его наличие.
Robots.txt не защищает закрытые данные. URL остаётся доступен любому человеку, который знает адрес, а некоторые роботы могут игнорировать директивы. Для приватных материалов нужен контроль доступа.
## Карта сайта
Sitemap содержит канонические публичные URL. В неё не включаются 404, служебные preview и страницы, закрытые от индексации.
```xml
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.ru/</loc>
</url>
<url>
<loc>https://example.ru/services/</loc>
</url>
</urlset>
```
Поле `lastmod` добавляется, если дата обновления известна достоверно. Одинаковая текущая дата у всех страниц при каждой сборке создаёт шум и не сообщает о реальных изменениях.
> Место для скриншота: дерево Assets после создания robots.txt и sitemap.xml в корне проекта.
## Создание в Deploya
SEO-блок сначала предлагает включить индексацию. Затем файлы можно создать автоматически или добавить вручную. Автоматический sitemap строится по найденным HTML-страницам и текущему основному домену проекта.
Если домен позже изменился, ссылки внутри sitemap тоже нужно обновить. Повторная генерация заменяет служебный файл в новой версии проекта; в Assets он отображается рядом с остальными файлами.
После публикации оба адреса открываются в браузере. Затем sitemap отправляется в панели поисковых систем. Ошибка XML, редирект на вход или ответ 404 означают, что поисковик не сможет прочитать карту.