В HTML стоит index, а заголовок отдаёт noindex: как найти конфликт

Разработчик открыл HTML, нашёл index, follow и сообщил, что запрет снят. Однако в HTTP-ответе той же страницы остался X-Robots-Tag: noindex. Проверка только одного места даёт неполную картину. Перед продвижением полезно собрать применимые правила вместе и назвать конкретный источник ограничения.

Не выбирайте одно «главное» разрешение

Google описывает robots-метатеги и X-Robots-Tag как способы задать правила для страницы. При конфликте действует более ограничительное правило. Поэтому наличие index в одном месте не отменяет noindex в другом. Добавить ещё одну разрешающую запись вместо устранения ненужного запрета — недостаточная проверка.

Это не спор о том, какой файл важнее. Общие и применимые к Googlebot записи нужно рассматривать совместно. При этом правила для другого адресата нельзя автоматически переносить на текстовый поиск Google.

Два последних столбца не сообщают, находится ли страница в индексе. Они описывают только выбранные инструкции в переданном наборе. Положительный результат по доступности не превращается в обязанность поисковика добавить адрес в выдачу.

Как выглядит источник расхождения

Учебный фрагмент одного ответа: сначала HTTP-заголовки, после пустой строки — HTML. Разрешение внутри документа не удаляет заголовок над ним.

HTTP/1.1 200 OK
Content-Type: text/html; charset=utf-8
X-Robots-Tag: noindex

<!doctype html>
<html><head>
  <meta name="robots" content="index, follow">
</head><body>...</body></html>

Запишите происхождение каждой строки

Для метатега сохраните его name и content. Для X-Robots-Tag отдельно укажите область: общий заголовок без адресата либо значение для конкретного робота. Если сервер вернул несколько таких заголовков, не оставляйте только последний при переносе в таблицу.

Работайте с одной конкретной страницей и одним проверенным ответом, а не смешивайте HTML с рабочей версии и заголовки тестового домена. В журнале проверки полезно сохранить полный URL, время, HTTP-статус, заголовки и способ получения HTML. Один снимок не доказывает одинаковое поведение всех шаблонов сайта.

Как заполнить локальную проверку

Каждая строка содержит технический ID, место, область и список директив. Для meta общая область называется robots; для header — all. Адресованная область googlebot применяется в обоих случаях. Иное имя сохраняется в отчёте как не применяемое к выбранной модели текстового Googlebot.

Вводятся уже извлечённые записи. Не вставляйте целый тег или HTTP-ответ в поле директив: форма не разбирает такую разметку и не получает страницу по сети. Разделение области заголовка с несколькими адресатами нужно выполнить до ввода. Если происхождение строки непонятно, сначала сохраните исходный ответ и уточните разбор.

Смотрите на список источников запрета

В примере H1 добавляет общий noindex. M1 с index, follow его не отменяет. H2 относится к другому роботу и не добавляет nofollow для выбранного адресата. Отчёт показывает IDs применимых источников каждого запрета, поэтому исправление можно связать с конкретным слоем формирования страницы.

Пустой набор допустим и означает отсутствие этих базовых ограничений в предоставленных данных. Он не означает, что в настоящем ответе нет скрытого заголовка. Также инструмент не определяет, какой плагин, серверный конфиг или промежуточный слой добавил строку: это задача отдельного исследования.

Как завершить проверку после исправления

1. Повторно получить тот же URL и сравнить фактические заголовки с предыдущим ответом.
2. Проверить, не осталось ли другой применимой записи с запретом.
3. Сверить несколько страниц затронутого шаблона, а не только главную.
4. Отдельно проверить доступность обхода и данные инструмента проверки URL в Search Console.

При заказе технического SEO у Левицкий Концепт приложите исходные ответы и ожидаемое поведение нужных страниц. Такой пример помогает сформулировать исправление проверяемо: какая запись должна исчезнуть, где она создаётся и как подтвердить результат. Работа с остальными причинами отсутствия страницы в поиске продолжается отдельно от этого ограниченного анализа.