Почему мой новый сайт не индексируется — 12 причин

Диагностика

Сначала — проверьте, что именно не работает:

Шаг 1. Проверить, есть ли сайт в индексе

В Google: site:example.com → если результаты есть, частично проиндексирован. В Яндексе: host:example.com или url:example.com*.

Шаг 2. Проверить статус в GSC

Coverage → Index → разделы:

• Indexed — успешно
• Excluded — не в индексе с причиной

Шаг 3. Проверить отдельный URL

GSC → URL Inspection → вставить URL.

Шаг 4. То же в Я.Вебмастере

Индексирование → Статистика обхода и Страницы в поиске.

Теперь — 12 причин.

Причина 1. robots.txt блокирует

Самая частая проблема. Проверьте https://example.com/robots.txt:

User-agent: *
Disallow: /        ← блокирует всё!

Решение:

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

10 ошибок robots.txt →.

Причина 2. Meta robots noindex

В коде страницы:

<meta name="robots" content="noindex">

Часто появляется автоматически:

• WordPress checkbox «Discourage search engines»
• Staging/dev окружение случайно ушло в продакшен
• Plugin случайно поставил

Решение:

<meta name="robots" content="index, follow">

Или вообще без тега (по умолчанию index).

Причина 3. HTTP-заголовок X-Robots-Tag

Сервер отдаёт:

X-Robots-Tag: noindex

Проверка:

curl -I https://example.com

Решение: убрать из конфигурации nginx/Apache. В Next.js — проверить headers() в next.config.ts.

Причина 4. Sitemap не отправлен или с ошибками

• Не отправлен в GSC/Я.Вебмастере → роботы могут не найти большинство URL
• Невалидный XML → отвергают целиком
• Указаны 404 URL → засоряют статистику
• Слишком большой (>50k URL или >50MB) → отвергают

Решение: валидация через xml-sitemaps.com/validate.html. Бить большие sitemap на части через sitemap-index.

Причина 5. Сайт без внешних ссылок

Поисковик находит сайты по ссылкам. Если ни один другой сайт не ссылается на ваш — робот может никогда не зайти.

Решение:

• Регистрация в Я.Бизнес/Google Business
• Каталоги (2GIS, Я.Услуги)
• Соцсети с открытыми ссылками (Telegram канал)
• Хотя бы одна ссылка с авторитетного сайта = 24-48 часов до индексации

Причина 6. Контент слишком тонкий

Google сообщает в GSC: Discovered – currently not indexed. Это значит: робот видел, но решил не тратить ресурсы.

Причины:

• Меньше 300 слов на странице
• Шаблонные дубликаты с минимальными отличиями
• Скопированный контент с других сайтов

Решение: уникальный экспертный контент 800+ слов на каждой странице.

Подробнее про тонкий контент →.

Причина 7. JavaScript-only рендеринг

Если контент появляется только после выполнения JS, Google рендерит вторым этапом (через 2-4 недели), а Яндекс хуже понимает.

Симптомы:

• View Source показывает пустой <div id="root"></div>
• Контент через React/Vue без SSR

Решение:

• SSR (Server-Side Rendering)
• SSG (Static Site Generation)
• Prerender для статичных страниц

Подробнее про SSR/SSG/CSR →.

Причина 8. Сайт грузится слишком медленно

Если робот не дожидается рендеринга — он уходит. TTFB > 3 секунд = проблема.

Решение:

• CDN
• Cache
• Оптимизация сервера
• Уменьшение JS-бандлов

Как ускорить →.

Причина 9. Дубликаты без canonical

Если на главную можно зайти по 5 URL (/, /index.html, /?utm_source=, /?ref=, www.example.com/) — Google не понимает, какой основной, и часто не индексирует ни один.

Решение:

• Canonical-тег на основной URL
• 301 редиректы с дублей на канонический
• Trailing slash консистентно

Про canonical →.

Причина 10. Сайт на staging-домене проиндексировался первым

Часто: staging.example.com или dev.example.com без noindex → Google решил, что это и есть основной сайт. Production проигрывает.

Решение:

• На staging — <meta name="robots" content="noindex">
• Или basic auth через nginx
• 301 редирект со staging на prod после запуска

Причина 11. Санкции от Google или Яндекса

Если домен был перекуплен с историей чёрного SEO → возможно, унаследованы санкции.

Проверка:

• GSC → Manual Actions
• Я.Вебмастер → Алгоритмы → Применённые

Решение:

• Подать reconsideration request в GSC
• В Я.Вебмастере — через поддержку

Причина 12. Технические ошибки

• 500/503 на главных страницах → робот думает «сайт упал»
• Чрезмерная защита от ботов (Cloudflare блокирует Google) → робот не может зайти
• Cookies / age check → робот не может пройти

Проверка: Я.Вебмастер → Статистика обхода → коды ответов.

Решение:

• Whitelist Googlebot/YandexBot в Cloudflare
• Никаких modal/popup перед контентом
• Стабильный uptime > 99%

Как ускорить, если уже месяц без индексации

Чек-лист действий

• [ ] robots.txt: открыт ли?
• [ ] meta robots/X-Robots-Tag: noindex есть?
• [ ] sitemap.xml: валидный, отправлен в GSC/Я.Вебмастер?
• [ ] URL Inspection: запросить индексацию топ-10 страниц
• [ ] IndexNow API: для Яндекса/Bing
• [ ] Получить 1-3 внешние ссылки с авторитетных сайтов
• [ ] Проверить SSR/JS-рендеринг
• [ ] Проверить уникальность и объём контента
• [ ] Проверить скорость загрузки (TTFB < 1 сек)
• [ ] Проверить canonical и дубликаты

После всех действий — 2-7 дней обычно достаточно для появления в индексе.

Если ничего не помогло

После 30 дней с правильными настройками:

1. Аудит у эксперта (платный SEO-аудит)
2. Reconsideration request в GSC
3. Тикет в поддержку Я.Вебмастера
4. Возможно — миграция на другой домен

Итог

Сайт не индексируется обычно по 12 причинам — от banal robots.txt до недостатка внешних ссылок. Диагностика — 80% работы. После устранения причин — 1-7 дней до индексации.

Прогнать бесплатный SEO-аудит и найти проблему →