Доля сайтов, запрещающих обход ИИ, зависит от того, что исследователь считает запретом. Новый срез LoudFace полезен именно как пример этой границы: по нему можно обсуждать опубликованную политику, но нельзя оценить, сколько компаний исчезло из рекомендаций.
Что измерили в ноябрьском срезе
В исследовании LoudFace от 3 ноября проверяли сайты компаний из Wikidata. Из 3884 намеченных адресов в расчёт вошли 3263. Авторы искали правила для 15 роботов: 277 сайтов закрывали главную хотя бы одному названному ИИ-роботу, 275 закрывали робота обучения, шесть закрывали робота поиска или пользовательского запроса. Группы пересекаются, складывать их нельзя.
Важна процедура отбора. 190 ответов с HTML вместо robots.txt исключили как защитные страницы, 431 адрес не удалось собрать. При этом 96 отказов с кодами 401, 402, 403 или 429 попали в категорию отсутствующего robots.txt и не считались запретом. Поэтому «не запрещает по правилу исследования» не равняется «сервер пропустил робота».
Авторы отдельно раскрывают ограничение чтения первыми 64 КиБ файла и отсутствие измерения фактической ИИ-видимости. Это однодневный срез списка Wikidata, а не перепись рынка программного обеспечения и не российская статистика.
Какой вывод выдерживает проверку
Для руководителя GEO это означает, что строку «доступ открыт» в отчёте стоит раскрыть. Она может означать отсутствие запрета в файле, успешную загрузку страницы тестовым клиентом или подтверждённый запрос нужного робота в журнале сервера. Эти свидетельства отвечают на разные вопросы. Обычная загрузка браузером не устанавливает поведение поискового робота; подстановка его имени в запрос тоже не подтверждает подлинность такого обращения.
Чужой процент не даёт основания автоматически переписывать собственный robots.txt. Сначала нужна конкретная проблема: команда хочет разрешить нужный сценарий обхода, а действующая конфигурация ему мешает. Если единственное наблюдение состоит в отсутствии бренда в ответе, причина пока не установлена.
Что приложить к технической задаче
Результат разбора для владельца сайта: карточка одного расхождения, а не универсальная команда «открыть ИИ». Её можно заполнить вместе с технической командой без изменения сайта.
| Поле карточки | Какое свидетельство сохранить |
|---|---|
| Цель | Название продукта и сценария, для которого нужен доступ |
| Адрес | Точный URL важной страницы и соответствующий домен |
| Заявленная политика | Сохранённый robots.txt, группа робота и правило для этого пути |
| Фактическое обращение | Время, код ответа и проверенные технической командой данные из серверного журнала, если они доступны |
| Наблюдение в ИИ | Точный вопрос, сервис, дата, полный ответ, отдельно бренд и ссылка |
| Следующее решение | Подтвердить правило, расследовать защитный фильтр или продолжить наблюдение |
Выбирайте страницу, которая действительно отвечает на вопрос о товаре или компании и нужна выбранному сценарию. Не берите произвольную главную только потому, что её легко проверить. Если данных об обращении робота нет, оставьте поле неизвестным; попросите ответственного за инфраструктуру проверить журналы, не превращая отсутствие записи в доказательство отсутствия обхода.
Если обнаружено конфликтующее правило, согласуйте изменение и способ отката с владельцем сайта. Если политика подходит, а сервер возвращает отказ, задача относится к доступу и защите. Если технического расхождения не найдено, переходите к содержанию конкретного ИИ-ответа и его источников. Исправление robots.txt в таком случае пока не обосновано.