Доступ к сайту для поиска и использование его содержимого при обучении моделей — разные решения. Перед изменением robots.txt полезно разобрать их по отдельности: одинаковое на вид «закрыть ИИ» может затронуть разные продукты и сценарии.
Сначала определите цель
Составьте список разделов, которые бизнес хочет видеть в поиске, и отдельно обсудите политику использования материалов для обучения моделей. Укажите владельца решения и его причины: например, публичный каталог может быть важен для поиска, а условия использования другого раздела требуют отдельного согласования. Не начинайте с общей блокировки всех роботов: сначала выясните последствия для каждого продукта.
Какие правила различают провайдеры
OpenAI описывает OAI-SearchBot как робота поиска, а GPTBot — как робота, собирающего материалы, которые могут использоваться для обучения базовых генеративных моделей. Настройки независимы: владелец сайта может разрешить поисковый обход и запретить GPTBot. По документации OpenAI, при отказе OAI-SearchBot сайт не показывается в поисковых ответах ChatGPT, хотя навигационные ссылки могут оставаться. Разрешение обхода само по себе не гарантирует показ.
ChatGPT-User выполняет некоторые действия по запросу пользователя, а не автоматический поисковый обход; OpenAI отмечает, что правила robots.txt к таким действиям могут не применяться. Поэтому отсутствие одной группы в файле не описывает все возможные обращения к сайту.
У Google другая схема. Googlebot отвечает за обход для Google Search и связанных поисковых функций. Google-Extended — отдельный управляющий токен, а не отдельная строка User-Agent в HTTP-запросе. Он управляет использованием обойденного контента для обучения будущих моделей Gemini и grounding в указанных сервисах Gemini и Vertex AI. Google сообщает, что этот токен не влияет на включение сайта в Google Search и не служит сигналом ранжирования. При этом его влияние на grounding важно учитывать отдельно от поиска.
Как провести проверку
- Сохраните текущую конфигурацию. Откройте robots.txt на каждом нужном домене и поддомене, зафиксируйте файл и дату. Выпишите общие и отдельные группы для интересующих роботов.
- Сопоставьте правила с задачами. Для каждой важной группы страниц отметьте, нужен ли поисковый обход и какова политика использования для обучения. Учитывайте документацию конкретного провайдера: названия токенов и последствия различаются.
- Проверьте фактическую доступность. robots.txt — лишь часть картины. Ответ сервера, авторизация, защитные фильтры и другие ограничения могут мешать доступу даже при разрешающем правиле. Проверьте важные URL вместе с технической командой и используйте доступные инструменты диагностики.
- Согласуйте изменение до выпуска. Проверьте синтаксис и воздействие на конкретные пути, сохраните прежнюю версию и назначьте ответственного за проверку после изменения. Не копируйте универсальные блоки правил без учёта существующих групп.
- Повторите наблюдение. Сверьте опубликованный файл и доступность страниц, затем отслеживайте индексацию и фактические ответы в соответствующих сервисах. OpenAI предупреждает, что после обновления robots.txt изменение для поиска может занять около суток.
Что означают результаты
Разрешённый обход — техническое условие, а не обещание цитирования или рекомендации. Закрытый робот обучения также не доказывает, что сведения исчезнут из уже обученных моделей или из сторонних источников. Для анализа GEO сохраняйте условия проверки и результаты отдельно: доступ к странице, её индексирование, ссылку в ответе и упоминание бренда.
Так команда сможет обсуждать не абстрактный «доступ нейросетей», а конкретное решение для каждого продукта и раздела сайта.