Это звучит смешно, но происходит постоянно: сайт запускают, а индексация всё ещё закрыта. Результат: нулевая видимость в поиске. Проверить нужно всё.
1. Robots.txtАдрес: example.com/robots.txt
Проверьте:
- Disallow: / — полный запрет индексации. Если он остался после разработки — сайт невидим для поисковых роботов.
- User-agent: Yandex / Googlebot — нет ли лишних блокировок.
2. Meta robotsОткройте код страницы (Ctrl+U) и найдите:
<meta name="robots" content="noindex, nofollow">
После запуска должно быть `index, follow` или тег должен отсутствовать.
3. HTTP-заголовок X-Robots-TagПроверьте в DevTools → Network → Headers:
X-Robots-Tag: noindex
Если он есть — сайт закрыт от индексации.
4. Закрытие через HTTP Basic AuthЕсли при входе появляется окно логин / пароль — роботы не могут зайти. Сайт полностью закрыт.
5. Настройки CMSWordPress:
Настройки → Чтение → Снять галку «Попросить поисковые системы не индексировать сайт».
Битрикс:
Настройки → Управление структурой → Проверить доступность разделов.
6. Файл Sitemap. xml
должен быть доступен и актуален.
Адрес: example.com/sitemap.xml
Проверяем:
- Открывается ли файл;
- Содержит ли актуальные URL;
- Добавлен ли в Яндекс Вебмастер и Google Search Console.
7. Проверка индексации в Яндекс ВебмастереИндексирование → Проверка URL → Главная страница.
Страница в поиске — всё хорошо.
Заблокирована robots. txt / noindex — исправлять немедленно.
8. Проверка индексации в Google Search ConsoleПроверка URL → Анализ:
«URL есть в индексе Google» — ок.
«URL не найден» — смотрим причину блокировки.