Disallow /cart закрыл лишние страницы: как проверить префиксы robots.txt

В robots.txt решили закрыть корзину строкой Disallow: /cart. Позже обнаружили, что под запрет попал и учебный раздел /cartoon-print/. Причина в том, что буквальный путь правила сопоставляется с началом запрашиваемого пути. Он не означает автоматически «папку с таким названием».

Один слеш меняет область правила

Префикс /cart совпадает с /cart, /cart/items и /cartoon-print/. Префикс /cart/ уже не совпадает с /cartoon-print/, потому что после букв cart требуется слеш. Но он не совпадёт и с самим /cart без завершающего слеша. Поэтому замена может одновременно исправить лишний запрет и открыть другой адрес.

Это не повод всегда добавлять слеш ко всем правилам. Сначала выясните, какие реальные пути есть у сайта, куда они перенаправляют и какие из них требуется ограничить. Название раздела в меню не гарантирует устройство его URL.

Порядок строк не заменяет приоритет совпадения

В RFC 9309 для совпавших путей используется наиболее конкретное правило по числу октетов; при эквивалентных Allow и Disallow предпочтение отдаётся Allow. Для обычных ASCII-префиксов длина в символах совпадает с длиной в октетах. Поэтому /cart/help длиннее /cart и может быть исключением из общего запрета.

В учебном инструменте можно переставить строки, сохранив их значения: решение не должно измениться. Перенос Allow выше или ниже Disallow сам по себе не делает короткое правило сильнее длинного. При равном совпавшем префиксе форма показывает разрешающий результат и обе причины.

Что собрать перед правкой

1. Адрес раздела без слеша и с завершающим слешем.
2. Один реальный вложенный путь.
3. Публичные страницы с похожим началом адреса.
4. Исключения, которые должны оставаться доступными.
5. Варианты регистра и параметры запроса, если они действительно встречаются.

Затем задайте ожидаемое поведение для каждого пути. Недостаточно увидеть, что нужная категория снова открылась для обхода. Нужно также проверить, что не открылся служебный адрес и не исчезло прежнее исключение. Список изменивших решение путей полезен как маленькая проверка перед выпуском.

Почему «разрешён» не означает «попадёт в поиск»

Robots.txt управляет обходом, а не гарантирует индексацию. Google отдельно предупреждает, что запрещённый для обхода URL всё ещё может оказаться в результатах без загруженного содержимого. И наоборот: отсутствие запрета не обещает ни включения страницы в индекс, ни позиции.

В инструменте слово «разрешён» относится только к решению введённой группы буквальных правил. Он не загружает страницу, не видит noindex, canonical, статус ответа или содержимое. Если цель — убрать документ из поиска, одной проверки префикса недостаточно. Общая инструкция о карте сайта и robots.txt на сайте студии разбирает эту задачу отдельно.

Когда нужны маски или точный конец пути

Если требуется отличить ровно один адрес от любого его продолжения, обычного префикса может не хватить. В полном синтаксисе robots.txt есть специальные символы, включая маркер конца совпадения. Они требуют отдельной проверки. Эта форма намеренно отвергает их, чтобы не выдавать упрощённое сравнение за полноценную интерпретацию сложного файла.

Как читать сравнение

Введите правила в формате allow;/путь или disallow;/путь и отдельно список проверяемых путей. Пустой набор правил означает отсутствие ограничений в этой учебной группе. Строка директивы с пустым путём не создаёт запрета. Полный адрес с доменом вводить нельзя: здесь анализируется только часть, начинающаяся со слеша.

У каждого результата показаны наиболее длинные совпавшие префиксы и причина решения. Если совпадений нет, действует разрешение по умолчанию. Сам /robots.txt в модели разрешён неявно. Это не подтверждает, что рабочий файл доступен поисковику или уже перечитан после публикации.

Сохраните старые правила, ожидаемые результаты и отчёт сравнения до изменения сайта. В реальном аудите дополнительно проверьте применимость группы к нужному роботу, фактический ответ сервера и текущие данные поисковой диагностики. На странице технического SEO-аудита Левицкий Концепт можно обсудить проверку такого изменения вместе с остальными причинами проблем обхода.