Почему Яндекс не индексирует сайт
Если страницы не попадают в поиск, проблема может быть не в “плохом SEO”, а в базовой технической доступности.
Индексация начинается с доступности
Поисковая система должна получить нормальный HTML-код страницы. Если сайт отдаёт ошибку, редиректит, показывает защитную страницу или возвращает слишком короткий HTML, выводы по SEO могут быть недостоверными. Владелец видит красивую страницу в браузере, а робот может получать совсем другой ответ.
Поэтому первая проверка — статус страницы. Важные URL должны открываться и отдавать код 200. Если сайт переезжал, менял домен или настраивал HTTPS, стоит проверить цепочки редиректов. Лишние и неправильные редиректы могут мешать обходу.
robots.txt и запреты индексации
Файл robots.txt может случайно закрывать важные разделы. Иногда после разработки на тестовом домене остаётся правило, запрещающее обход сайта. В результате сайт доступен пользователям, но поисковая система получает сигнал не заходить на страницы.
Кроме robots.txt проверьте meta robots и заголовки ответа. На странице может стоять noindex, который запрещает добавление в поиск. Это бывает после временных правок, копирования шаблона или настройки CMS.
sitemap.xml и структура сайта
Карта сайта помогает поисковой системе быстрее найти важные страницы. Если sitemap.xml отсутствует, указан неверно или содержит старые адреса, это не всегда полностью блокирует индексацию, но ухудшает техническую аккуратность. Особенно это заметно на сайтах с большим количеством услуг или статей.
Проверьте, что sitemap.xml открывается, содержит актуальные URL и указан в robots.txt. Важно, чтобы адреса в карте сайта совпадали с каноническими URL страниц: без лишних параметров, дублей и старых вариантов.
Проблемы контента и дублей
Даже технически доступная страница может плохо индексироваться, если она почти пустая, дублирует другие страницы или не имеет понятной темы. Одинаковые title, одинаковые H1 и шаблонные тексты мешают поисковой системе понять ценность страницы.
Для сайта услуг важно, чтобы каждая страница отвечала на конкретный запрос: аудит сайта, SEO-аудит, исправление ошибок, поддержка сайта. Если все страницы отличаются только заголовком, они выглядят как дубли.
Что проверить самостоятельно
- Страница отдаёт код 200, а не редирект или ошибку.
- В robots.txt нет запрета на важные разделы.
- На странице нет meta robots noindex.
- sitemap.xml открывается и содержит актуальные URL.
- Canonical указывает на правильный чистый адрес.
- Title и H1 уникальны для страницы.
- Страница не пустая и не состоит из шаблонного текста.
- Сайт не показывает роботу защитную или антибот-страницу.
Когда нужен аудит
Если непонятно, почему Яндекс не добавляет страницы в поиск, начните с SEO-аудита сайта. Если есть подозрение на ошибки сервера, редиректы, sitemap или robots.txt, полезен технический аудит сайта.