Google поддержит общий запрет обучения ИИ в robots.txt с 2027 года

30 октября 2026 года Google объявил в блоге Search Central, что будет поддерживать общий сигнал против обучения ИИ в robots.txt. Вместо отдельных правил для каждой компании владелец сайта сможет одной группой правил сказать: мой контент не использовать для обучения моделей. Google собирается поддержать сигнал в 2027 году. Касается это всех, кто публикует статьи, каталоги и экспертные тексты. Что делать сейчас: ничего срочного, но стоит проверить текущие правила для Google-Extended.

Что изменилось

Сигнал вырос из работы группы AIPREF в IETF. Сейчас он описан в индивидуальном черновике draft-kelley-aipref-training-preference-signal, первая редакция датирована 30 октября 2026 года. Черновик не является стандартом и не одобрен IETF, это предложение для обсуждения.

По черновику для сигнала используется специальный токен __usage_ai-training в строке User-Agent. Новых директив нет: работают привычные Disallow и Allow. Например, можно запретить обучение на всём сайте и разрешить его только для раздела с пресс-материалами.

Как Google будет это читать

• Если сайт запретил обучение общим токеном и ничего не указал для Google-Extended, Google будет считать, что Google-Extended запрещён.
• Отдельные правила для Google-Extended и других ботов конкретных компаний продолжат работать.
• Сайты, которые явно разрешили Google-Extended, могут попадать в ответы Gemini Apps и получать оттуда переходы через ссылки на источники.
• Остальной словарь AIPREF ещё обсуждается. Сейчас принимают только определение для обучения ИИ.

Google пишет, что другие ИИ-компании могут обрабатывать сигнал так же, но в посте не названо ни одной компании, которая уже взяла на себя обязательство. Насколько массовым станет токен, пока неизвестно.

Кого касается

В первую очередь — сайтов, чей главный актив это тексты: медиа, блоги компаний, справочники, обучающие проекты. Магазину с карточками товаров вопрос менее острый: его цель — чтобы товар нашли, в том числе через ИИ-ответы.

Сигнал касается именно обучения моделей. На обычную индексацию в Поиске Google он не влияет: для этого по-прежнему отвечает Googlebot.

Что сделать

1. Откройте robots.txt и посмотрите, есть ли там правила для Google-Extended и других ИИ-ботов.
2. Решите, чего вы хотите: запрет обучения, запрет только части разделов или полная открытость.
3. Не добавляйте новый токен вместо Google-Extended: до 2027 года Google его не обрабатывает.
4. Запишите решение в регламент сайта, чтобы при обновлении robots.txt его не потеряли.
5. В 2027 году, когда Google сообщит о запуске, добавьте общую группу правил и проверьте файл.

Собрать корректный файл поможет генератор robots.txt, а типичные ошибки в нём мы разбирали в статье о sitemap и robots.txt. Если вопрос в том, как сайт выглядит в ИИ-ответах, это задача GEO-аудита.