Sitemap указан в robots.txt

Что это

Директива Sitemap: в файле robots.txt — это явное указание поисковым роботам, где находится файл карты сайта. Строка добавляется в конец robots.txt и выглядит так: Sitemap: https://example.com/sitemap.xml. Googlebot и Яндекс.Бот читают её при каждом обходе robots.txt и сразу знают, где искать список URLs для индексации — без необходимости дополнительных настроек в вебмастерах.

---

Почему это важно для SEO

Без директивы Sitemap: робот узнаёт о карте сайта только из двух источников: ручной загрузки в Яндекс.Вебмастер / Google Search Console или случайного обхода ссылок. Если сайт молодой или закрытые разделы не связаны внутренними ссылками, часть страниц может неделями не попадать в индекс. По данным Google, сайты, у которых sitemap корректно объявлен в robots.txt, получают более быстрое обнаружение новых URL — особенно критично для интернет-магазинов с сотнями SKU или новостных сайтов, где свежесть контента напрямую влияет на трафик.

Для Яндекса ситуация аналогична: Яндекс.Нейро и алгоритмы переобхода активнее сканируют сайты с чёткой структурой. ИКС (Индекс Качества Сайта) формируется в том числе на основе полноты индексации — если треть страниц не проиндексирована из-за проблем с обнаружением, поведенческие сигналы собираются только с видимой части сайта, что занижает общую оценку. Директива Sitemap: — одно из самых дешёвых по трудозатратам улучшений с прямым эффектом на краулинг.

---

Как проверить вручную

1. Откройте robots.txt вашего сайта в браузере: https://ваш-домен.ru/robots.txt. Прокрутите файл до конца — строка Sitemap: обычно размещается после всех директив User-agent, Allow, Disallow.

1. Проверьте URL sitemap из директивы вручную — вставьте его в адресную строку браузера. Файл должен отдавать корректный XML без ошибок. Если возвращается 404 или редирект, директива бесполезна.

1. В Screaming Frog (меню Sitemaps > Check Sitemap) сканер автоматически читает robots.txt, извлекает объявленные sitemap-файлы и показывает их статус, количество URLs и ошибки парсинга.

1. В Яндекс.Вебмастере перейдите в раздел Индексирование > Файл Sitemap — вебмастер покажет, какие файлы он обнаружил, в том числе через robots.txt, и когда последний раз их читал.

1. В Google Search Console откройте Индексирование > Файлы Sitemap. Если sitemap не добавлен вручную, но обнаружен через robots.txt, он появится здесь со статусом "Обнаружен, но не отправлен".

---

Как исправить

Добавьте строку в конец файла robots.txt:

User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Если у вас несколько sitemap-файлов (например, отдельно для страниц, изображений, новостей):

Sitemap: https://example.com/sitemap_pages.xml
Sitemap: https://example.com/sitemap_images.xml
Sitemap: https://example.com/sitemap_news.xml

WordPress

Плагин Yoast SEO и Rank Math добавляют директиву автоматически при генерации sitemap. Проверьте в настройках, что функция sitemap включена — строка появится в robots.txt без ручного вмешательства.

Tilda

Tilda генерирует sitemap автоматически по адресу https://ваш-домен.ru/sitemap.xml. Файл robots.txt на Tilda недоступен для прямого редактирования — добавьте sitemap вручную через Google Search Console и Яндекс.Вебмастер.

1C-Bitrix

В административной панели: Настройки > Поисковая оптимизация > Файл robots.txt. Добавьте строку Sitemap: в поле редактора. Модуль "Поисковая оптимизация" также умеет генерировать sitemap и прописывать путь автоматически.

Webflow

В настройках проекта SEO > Indexing включите генерацию sitemap. Файл robots.txt редактируется в разделе Publishing > robots.txt — добавьте строку вручную, указав полный URL файла.

---

Типичные ошибки

• Относительный URL вместо абсолютного. Sitemap: /sitemap.xml — неверно. Роботы ожидают полный URL с протоколом и доменом: Sitemap: https://example.com/sitemap.xml.

• Указан несуществующий файл. Генерация sitemap отключена или плагин удалён, а строка в robots.txt осталась. Робот получает 404 и теряет время краулингового бюджета.

• HTTP вместо HTTPS. Сайт переехал на HTTPS, но в директиве остался http://. Технически работает, но создаёт лишний редирект — указывайте финальный URL.

• Sitemap закрыт в самом robots.txt. Каталог с sitemap попал под Disallow, и робот не может его скачать. Проверяйте через Google Search Console > Проверка URL.

• Прописан только в вебмастерах, но не в robots.txt. Это не ошибка сама по себе, но при смене домена или переезде сайта директива в robots.txt страхует от потери связи с файлом карты.

---

Влияние на разные типы сайтов

Для интернет-магазинов на 1C-Битрикс или Shopify директива особенно критична: карточки товаров создаются динамически, внутренняя перелинковка между категориями не всегда покрывает все URLs, и без явного sitemap роботы обходят только то, до чего добираются по ссылкам. При каталоге от 5 000 SKU разница в скорости индексации может составлять недели.

Контентные сайты и медиа выигрывают от Sitemap News — отдельного файла для Google Новостей и Яндекс.Новостей. Если этот файл объявлен в robots.txt, Googlebot-News обнаруживает свежие материалы в течение минут после публикации, что напрямую влияет на попадание в блок новостей и AI Overviews. Для SaaS и лендингов с небольшим числом страниц директива менее критична, но остаётся хорошей практикой — она ничего не стоит, но защищает от сценария, когда вебмастер не настроен или sitemap не отправлен вручную.