Запрещать ли обучение ИИ на своём сайте: разбор нового токена

30 октября 2026 года Google объявил, что в 2027 году поддержит общий сигнал против обучения ИИ в robots.txt. Новость мы разобрали в материале о новом токене в robots.txt. Здесь — более практичный вопрос: стоит ли компании вообще запрещать обучение на своём сайте. Короткий ответ: большинству коммерческих сайтов полный запрет скорее навредит, а осмысленный частичный — может помочь.

Что именно запрещает сигнал

Сигнал касается обучения моделей, то есть использования текстов сайта, чтобы модель «запомнила» знания. Он не управляет индексацией в поиске: за неё отвечает обычный поисковый робот. Но у Google есть важная связка: если сайт запретил обучение общим токеном и не указал правил для Google-Extended, Google будет считать Google-Extended запрещённым.

А Google-Extended влияет не только на обучение. Google пишет, что сайты, которые явно разрешили Google-Extended, могут появляться в ответах Gemini Apps и получать оттуда переходы через ссылки на источники. Значит, полный запрет может стоить заметности в ИИ-ответах Google.

Кому запрет полезен

• Изданиям и авторам, которые продают доступ к текстам или зарабатывают на просмотрах.
• Компаниям с уникальной методикой, базой знаний или исследованиями, которые сами по себе являются продуктом.
• Сайтам с закрытыми и полузакрытыми разделами, где тексты не предназначены для широкого распространения.

Кому запрет скорее навредит

• Магазинам и сервисам: им нужно, чтобы ИИ-помощники знали товар, бренд и условия.
• Местному бизнесу: клиники, салоны, автосервисы выигрывают, когда ассистент называет их в ответе.
• B2B-компаниям, которые продают экспертизу: статьи и кейсы работают как реклама, и чем шире они известны, тем лучше.

Для таких сайтов цель обратная — быть понятными и цитируемыми. Об этом мы писали в статье о том, как браузеры открываются ИИ-агентам.

Частичный запрет — самый разумный вариант

Формат robots.txt позволяет разделить сайт. В черновике IETF, на который опирается Google, пример как раз такой: обучение запрещено на всём сайте, кроме раздела с пресс-материалами. Логику можно перевернуть под коммерческий сайт.

Почему спешить не нужно

Во-первых, сам сигнал описан пока в индивидуальном черновике IETF от 30 октября, это не стандарт, и синтаксис может измениться. Во-вторых, Google обещает поддержку только в 2027 году. В-третьих, в посте не названа ни одна другая ИИ-компания, которая уже обязалась его соблюдать.

И главное: robots.txt — это просьба, а не замок. Добросовестные компании правила соблюдают, остальные могут их проигнорировать. Если текст действительно нельзя отдавать, его нужно закрывать авторизацией, а не только строкой в файле.

Что сделать сейчас

1. Разделите разделы сайта на «витрину» и «продукт» — по таблице выше.
2. Посмотрите текущий robots.txt: нет ли там случайного запрета для Google-Extended или других ИИ-ботов, который вы не планировали.
3. Если запрет нужен уже сейчас, настройте его через Google-Extended и правила для конкретных ботов, а не через новый токен.
4. Действительно закрытые материалы уберите за авторизацию.
5. Запишите решение и пересмотрите его, когда Google объявит запуск в 2027 году.

Правила для разных роботов удобно собрать в генераторе robots.txt. Понять, как сайт сейчас выглядит в ИИ-ответах и что мешает его цитировать, поможет GEO-аудит, а общая работа с поиском входит в SEO-продвижение.