Индексация сайта: почему страницы не попадают в поиск
Страница не может ранжироваться, если её нет в индексе. Это очевидно, но проверяют это в последнюю очередь: сначала переписывают тексты, покупают ссылки и меняют дизайн. Между тем на среднем сайте вне индекса оказывается от 15 до 40% страниц, и часть из них — важные.
Как проверить за пять минут
В Яндекс.Вебмастере откройте раздел «Индексирование → Страницы в поиске» и сравните число с реальным количеством страниц. Там же есть список исключённых с указанием причины — это самый быстрый источник правды. В Search Console аналогичную картину даёт отчёт об индексировании. Дополнительно проверьте конкретный URL через инструмент проверки — он покажет, что видит робот прямо сейчас. Логику работы отчётов описывает справка Яндекса.
Причины запрета: сайт сам себя закрыл
- Директива Disallow в robots.txt, закрывающая нужный раздел вместе с мусорным
- Мета-тег noindex, забытый после переноса с тестового сервера
- X-Robots-Tag в заголовках сервера — его не видно в коде страницы, ищите в ответе сервера
- Canonical, указывающий на другую страницу: робот считает вашу дублем и не индексирует
- Закрытие через .htaccess или базовую авторизацию, оставшуюся с этапа разработки
Причины отказа: роботу страница не понравилась
Категория «малополезная страница» в Вебмастере означает, что робот дошёл, но решил не добавлять. Обычно это страницы с почти пустым содержимым, дубли карточек, отфильтрованные подборки без товаров или страницы пагинации без смысловой нагрузки. Лечение не техническое, а содержательное: либо наполнить, либо объединить, либо закрыть осознанно. Как отделять полезные фильтры от мусорных, разобрано в статье про SEO для интернет-магазина.
Краулинговый бюджет: робот не дошёл
Если сайт отдаёт десятки тысяч URL, а полезных из них тысяча, робот тратит обходы на мусор. Признак — новые страницы попадают в индекс через 4–8 недель вместо 2–7 дней. Решается чисткой дублей, отказом от индексации сортировок и параметров, ускорением ответа сервера и грамотной перелинковкой: страница, до которой нужно пять кликов от главной, обходится реже. Порядок проверок — в чек-листе аудита.
Страница-сирота
На неё нет ни одной внутренней ссылки, она есть только в sitemap. Такие страницы индексируются плохо и ранжируются ещё хуже, потому что не получают внутреннего веса. Правило: каждая важная страница должна быть достижима из меню, из каталога или из связанного контента — и желательно не глубже трёх кликов от главной.
Что делать, когда причина найдена
- Снять запрет и отправить страницу на переобход через Вебмастер — обычно 1–7 дней
- Добавить внутренние ссылки на страницу с уже проиндексированных разделов
- Обновить sitemap и убедиться, что в нём только канонические URL с кодом 200
- Если страница признана малополезной — доработать содержимое, а не отправлять на переобход по кругу
Сколько ждать
Новая страница на здоровом сайте попадает в индекс за 2–7 дней, на запущенном — за месяц и больше. Позиции после индексации стабилизируются ещё 2–6 недель. Если через месяц после снятия запрета страницы нет, проблема не в скорости обхода, а в оценке качества. Общие ориентиры по срокам — в материале о том, сколько занимает SEO. Настройки файлов, которые чаще всего ломают индексацию, разобраны в статье про robots.txt и карту сайта.
Проверка индексации — это 20 минут раз в месяц, которые экономят месяцы непонимания. Если разбираться самим неудобно, мы делаем такую диагностику отдельно от полного аудита — напишите через контакты.