Сколько страниц на сайте конкурента: sitemap, поиск и обход

Быстрее всего число страниц на сайте конкурента показывает его карта сайта: откройте адрес /sitemap.xml или найдите ссылку на карту в /robots.txt и посчитайте адреса. Это число, которое владелец сам отдаёт поисковикам. Оператор site: в поиске даёт другую цифру, а обход сайта краулером — третью. Все три полезны, если понимать, что каждая из них измеряет.

Способ 1. Карта сайта sitemap.xml

1. Откройте адрес сайта с /robots.txt на конце и найдите строку Sitemap: — в ней путь к карте.
2. Если строки нет, попробуйте /sitemap.xml и /sitemap_index.xml.
3. Если карта — индексный файл, в ней ссылки на несколько карт. Откройте каждую и сложите адреса.
4. Посчитайте теги loc. Вручную это неудобно, поэтому большие карты удобнее загрузить в таблицу или в инструмент.

По протоколу sitemaps.org в одном файле может быть не больше 50 000 адресов и 50 МБ без сжатия. Поэтому у крупных сайтов карта почти всегда разбита на части. Google описывает те же правила в руководстве по созданию sitemap.

Число адресов в sitemap у вас и у трёх конкурентов сразу показывает бесплатный инструмент сравнение сайта с конкурентами.

Способ 2. Оператор site: в поиске

Запрос вида site:example.ru в Google или Яндексе показывает страницы домена, которые видит поисковик. Цифра «найдено столько-то результатов» — приблизительная, и полного списка индекса этот оператор не даёт: в документации Google об операторе site: сказано, что он не обязательно возвращает все проиндексированные страницы. Подробнее — в статье оператор site: показывает не все страницы.

Способ 3. Обход сайта краулером

Программа-краулер заходит на главную и идёт по ссылкам, как поисковый робот. Так находятся страницы, которых нет в sitemap, но есть в меню и в тексте. Краулер найдёт и мусор: страницы фильтров, сортировок, пагинации. На чужом сайте ставьте низкую скорость обхода, чтобы не создавать нагрузку, и уважайте запреты robots.txt.

Почему три способа дают разные цифры

Что означает разница в числе страниц

Больше страниц — не значит лучше. Сайт на 5000 адресов, из которых 4800 — пустые теги и фильтры, проиграет сайту на 150 полезных страниц. Смотрите, из чего состоит число:

• услуги или товары — сколько отдельных предложений описано;
• статьи — работает ли блог и когда вышла последняя запись;
• страницы под районы, города, отрасли — есть ли в них разный текст или это шаблон.

Если у лидера выдачи 40 страниц услуг, а у вас 5, причина отставания часто здесь: он отвечает на 40 разных запросов, вы — на 5. Структуру стоит расширять под реальный спрос, а не под число конкурента. Об этом статья структура сайта компании: какие страницы нужны. А сколько посетителей приносят страницы конкурента, по открытым данным можно только оценить — см. как узнать посещаемость сайта конкурента.

Как проверить свой sitemap заодно

1. Сравните число адресов в своей карте с числом страниц, которые реально должны быть в поиске.
2. Убедитесь, что в карте нет адресов с редиректом, ошибкой 404 или запретом индексации.
3. Проверьте, что ссылка на карту есть в robots.txt.
4. Отправьте карту в Яндекс Вебмастер и Google Search Console.

Если после правок число адресов в карте заметно изменилось, проверьте, не выпали ли из неё нужные разделы.

Частые ошибки разобраны в статье карта сайта и robots.txt: ошибки, которые режут трафик. Если карта собирается неправильно или в индекс попадает мусор, это задача технического SEO-аудита.