блог
Страницы не индексируются: разбор причин
Выяснить, почему страницы не индексируются в Яндексе, помогает сервис Вебмастер. Для исключённых адресов он показывает причину.
Среди наиболее частых причин — запрет обхода или индексации, ошибка сервера, дубль и оценка содержания как малоценного или маловостребованного.
Где посмотреть причину?
В Вебмастере открывают «Индексирование → Страницы в поиске → Исключённые страницы». Для нужного адреса записывают статус и дату последнего посещения роботом. Отчёт может отражать состояние до исправления.
| Статус | Что означает | Что делать |
|---|---|---|
| Запрет в robots.txt: весь сайт или страница | Правила ограничивают доступ робота | Проверить правило для нужного URL |
| Запрещено элементом noindex | Метатег запрещает индексацию | Найти и убрать случайный запрет |
| Ошибка HTTP | Робот получил ответ с ошибкой | Проверить текущий ответ сервера |
| Дубль | В поиске уже есть страница с тем же содержанием | Определить предпочтительный адрес |
| Неканоническая | Для индексации указан другой адрес | Проверить, верно ли задан canonical |
| Малоценная или маловостребованная страница | Алгоритм оценил вероятность востребованности как низкую | Проверить содержание и соответствие запросам |
Статусы приведены по справке Яндекса. Сначала выделяют страницы, нужные потенциальным пользователям или клиентам.
«Не проиндексирована» описывает отсутствие страницы в индексе, «исключена» — состояние с зафиксированной в Вебмастере причиной. Новый URL может отсутствовать и среди исключённых.
Когда страница прежде получала переходы и потеряла их, исключение из поиска — одно из возможных звеньев спада; остальные разобраны в статье «Почему упал трафик на сайте».
Для отдельного URL открывают «Индексирование → Проверка страницы»: там видны статус, ответ сервера и содержание для робота. Для нового адреса проверяют ссылки на него и наличие в Sitemap.
Что делать, если страница исключена как недостаточно качественная?
В справке указан статус «Малоценная или маловостребованная страница». Значит, возможны дубли, отсутствие видимого роботу содержания или несоответствие запросам. Сам статус не свидетельствует об ограничениях для сайта. Объяснение Яндекса.
Порядок проверки:
- Видит ли робот содержание? Через «Проверку страницы» сравнивают полученный контент с тем, что видит посетитель. Если описание услуги есть только на картинке или не загружается при обработке скриптов, сначала исправляют его доступность.
- Есть ли похожая страница? Сравнивают соседние URL, страницы одной услуги могут конкурировать за один запрос. Для дублей выбирают основной адрес, самостоятельным услугам дают собственное описание.
- Какую задачу решает текст? Проверяют запросы клиента в Вордстате и дополняют ответы на них. Отсутствие одной формулировки ещё не доказывает отсутствия спроса на услугу.
Например, на странице ремонта кофемашин добавляют фактические условия диагностики и расчёта цены. Увеличение объёма текста само по себе не гарантирует включения в поиск, результат зависит от оценки алгоритма.
Как проверить, не закрыт ли сайт от индексации?
Проверяют 3 места: robots.txt, метатеги и HTTP-заголовок X-Robots-Tag. После разработки причиной может быть запрет с тестовой версии.
Robots.txt. В браузере открывают https://example.ru/robots.txt, заменив домен своим. Запись Disallow: / в применимом блоке запрещает обход всех путей, если нет разрешающих исключений. Итог зависит от User-agent и других правил, проверку конкретного URL выполняют в Вебмастере через «Инструменты → Анализ robots.txt».
Disallow ограничивает обход. Закрытый адрес всё ещё может участвовать в поиске, а робот не сможет прочитать установленный на странице noindex. Поэтому проверяют оба механизма.
Метатеги. Через контекстное меню браузера открывают исходный код страницы и ищут name="robots" и name="yandex". Запрет выглядит, например, так:
<meta name="robots" content="noindex">
Значение none тоже включает запрет индексации. Проверяют все найденные указания, Яндекс учитывает их сочетание. Если noindex остался после разработки, выясняют, где он задан — в настройке CMS, SEO-поле страницы или шаблоне.
X-Robots-Tag. Это заголовок ответа сервера. В браузере открывают инструменты разработчика, вкладку Network («Сеть»), перезагружают страницу и выбирают запрос основного HTML-документа. В Headers → Response Headers ищут X-Robots-Tag; noindex или none задают запрет.
Сервер может отвечать браузеру и роботу по-разному. Доступ робота проверяют через «Инструменты → Проверка ответа сервера» в Вебмастере. Администратору передают URL и найденное правило. Убирают ошибочный запрет, сохраняя ограничения служебных разделов.
Сколько ждать после исправления?
Нужно дождаться обхода и обновления данных. Яндекс указывает до 3 дней на посещение URL из очереди и до 2 недель на обновление данных после обработки заявки. Возврат в поиск зависит от условий индексации и оценки алгоритма.
После проверки исправления в разделе «Индексирование → Переобход страниц» выбирают сайт, вводят исправленный URL и нажимают «Отправить». Число адресов ограничено, лимит обновляется ежедневно и действует для основного домена и его поддоменов. Доступное количество проверяют в интерфейсе своего сайта. Отправляют важные изменённые страницы; robots.txt этот инструмент не требует.
Статус «Заявка обработана» подтверждает посещение роботом. Участие страницы подтверждает статус «В поиске». Если после обновления данных исключение сохраняется, повторяют диагностику. Порядок, лимиты и статусы переобхода.
В каком порядке проверять страницы?
Сначала проверяют статус, затем доступность и содержание.
- Найти URL в Вебмастере, записать причину исключения и дату обхода.
- Проверить ответ сервера, robots.txt, метатеги и X-Robots-Tag.
- Разобрать указание canonical и возможные дубли.
- Проверить доступность содержания роботу и полноту ответа клиенту.
- Исправить подтверждённую причину, проверить результат и отправить URL на переобход.
- После нового обхода проверить участие страницы в поиске.
Порядок проверки остальных частей сайта разобран в статье «SEO-аудит своими силами».