Crawl Stats: почему число запросов не равно числу страниц

Число запросов в Crawl Stats не равно числу страниц: отчёт считает обращения, включая повторные и запросы ресурсов сайта. Один HTML-документ может сопровождаться загрузками CSS, JavaScript и изображений. Чтобы объяснить рост сканирования, разделите операции, уникальные адреса, типы ответов и состояние индексирования документов.

Что является единицей отчёта

В справке Search Console о статистике сканирования указано, что повторные обращения к одному URL учитываются отдельно, как и успешные и неуспешные запросы. Ресурсы страницы также входят в статистику, если находятся в охватываемой области сайта. Поэтому итог нельзя подписать как количество уникальных страниц.

Индексирование — ещё один отдельный результат. Поисковая система могла получить документ, но это не доказывает его включение в индекс. Запрос к изображению или стилю вообще отвечает другой задаче. Из общего числа операций не получается число потенциальных клиентов, просмотров людьми или документов в поиске.

Учебный перечень: три документа, тринадцать обращений

Предположим, в искусственном наборе все указанные ресурсы находятся на одном учебном хосте. Есть три разных HTML-адреса, один из них прочитан повторно. Общие файлы также запрашивались несколько раз. Реальные серверные журналы и данные проектов для этого примера не читались.

Сумма 4 + 3 + 2 + 3 + 1 равна 13 обращениям. Разных адресов 3 + 1 + 1 + 1 + 1 = 7. Ни одно из этих чисел не сообщает, сколько документов проиндексировано. Даже три HTML-адреса требуют отдельной проверки их результата в поиске.

Какую детализацию открыть после общего графика

Google описывает группировку по ответу, типу файла, цели обхода и типу робота в обзоре Crawl Stats. Обзор опубликован раньше текущей справки; конкретные условия интерфейса сверяйте по действующей документации. Для разбора полезно понять, какая группа изменилась, прежде чем искать общую причину.

Если выросли запросы изображений, не объясняйте это сразу новыми текстовыми страницами. Если увеличились ошибки, отдельно проверьте доступность соответствующих адресов. Если повторно получаются прежние документы, нужен вопрос об их изменениях и условиях доставки, а не автоматический вывод о росте спроса.

Примеры URL не являются полным журналом

Справка отдельно предупреждает: список примеров включает не все адреса. Отсутствие нужного URL в этой выборке не доказывает отсутствия обращений. Размер и состав примеров также не следует превращать в точный знаменатель долей всего сканирования.

Используйте пример как точку для предметного разбора: какой адрес, какой ответ и что известно о получении. Для полного перечня запросов требуется другой источник и проверка его охвата. Не называйте выгрузку доступных примеров полным аудитом только потому, что файл успешно скачался.

Как сверять с разрешёнными серверными журналами

Начните с одинакового периода и области. Уточните хост, используемое время и место регистрации запроса. Журнал приложения и журнал внешнего слоя доставки могут описывать разные события. Сначала объясните их границы, затем обсуждайте несовпадение итогов.

Отдельно проверьте, какие запросы отнесены к нужному роботу в вашей процедуре. Название в строке User-Agent само по себе недостаточно для доказательства отправителя. Такая проверка является отдельной задачей и не меняет определение единицы отчёта.

Не ожидайте механического равенства любых двух сумм. Документация Google предупреждает о возможных различиях охвата с журналами. Необъяснённый остаток нужно сохранить как ограничение сверки, а не распределять по удобным группам без основания.

Что действительно говорит о нагрузке

Количество обращений нужно рассматривать вместе с размером ответов, временем и поведением сервера. Небольшой статический файл и тяжёлая формируемая страница могут иметь разную стоимость при одинаковом числе запросов. Но сама группа URL не доказывает размер вычислений без измерений.

Среднее время ответа отчёта не является прямой загрузкой процессора или объёмом занятой памяти. Для серверной причины нужны соответствующие наблюдения. Не объявляйте поискового робота виновником сбоя только потому, что два графика выросли в близкое время.

Порядок разбора неожиданного роста

1. Сохраните период, область отчёта и исходный общий показатель.
2. Откройте распределение по типам ресурсов, ответам, цели и типу робота.
3. Отделите повторные операции от уникальных адресов и HTML-документы от ресурсов.
4. Выберите конкретные примеры для предметной проверки, не считая их полным списком.
5. При необходимости сопоставьте с разрешённым источником журналов на согласованных условиях.
6. Сформулируйте подтверждённую проблему и отдельные гипотезы о нагрузке или индексировании.

Этот порядок не предполагает нагрузочного теста и не сообщает о проведённой проверке вашего сервера. Для начала достаточно согласовать единицы и источники. Изменять частоту обхода или правила кеширования до установления проблемы по одному общему числу преждевременно.

Как превратить отчёт в задачу

Для технического SEO-аудита запишите, какие группы запросов изменились и что известно о документах. В задаче поддержки сервера приложите разрешённые измерения нагрузки, а не только количество обращений робота.

При автоматизации отчётности сохраняйте название единицы, область и фильтры рядом с числом. Тогда график сканирования остаётся инструментом диагностики, а не превращается в вымышленный счётчик страниц, трафика или заявок.