Если два способа измерения ни разу не нашли бренд, они могут совпасть на 100% и всё же не показать, умеет ли инструмент обнаруживать реальное присутствие. Методический разбор исторического кейса HENUSSE помогает принять такую проверку без лишних обещаний о точности GEO-отчёта.
Что означает совпадение 30 из 30
В опубликованном контроле HENUSSE сравнивались ответы приложения ChatGPT и автоматизированного инструмента на 30 вопросов об одной марке, Real French. Наблюдение проведено в ночь с 14 на 15 августа 2026 года, из Франции, на одном платном аккаунте приложения. На вопрос приходилась одна проверка приложения и три прохода инструмента.
При сравнении приложения с большинством трёх проходов совпали 30 вердиктов из 30. Все они означали отсутствие бренда. Если считать присутствием хотя бы один положительный проход инструмента, совпадение составляло 29 из 30.

Автор сам отмечает: такой набор лучше проверяет, не придумывает ли инструмент видимость, чем способность найти реально процитированную марку. На странице также указана смена конфигурации инструмента 16 августа. Августовский результат не подтверждает точность его нынешней версии.
Это проверка самого поставщика измерений. В описании связанного исследования раскрыта семейная и рабочая связь с Real French. Один бренд, одна ночь и один аккаунт не представляют рынок.
Почему общий процент недостаточен
Наш вывод: число совпадений следует читать вместе с составом проверочных случаев. Если в наборе есть только отсутствие, правильное распознавание присутствия ещё не проверено. Это не доказывает плохую работу инструмента: нужного испытания просто не было.
Для проверки присутствия требуется пара сопоставимых наблюдений: ручная разметка полного сохранённого ответа и результат инструмента для того же события бренда. Саму ручную разметку тоже нужно обосновать точным фрагментом.
| Ручная проверка | Инструмент сообщил присутствие | Инструмент сообщил отсутствие |
|---|---|---|
| Бренд присутствует | Найденное присутствие | Пропуск |
| Бренд отсутствует | Ложное обнаружение | Совпавшее отсутствие |
Общий процент объединяет обе диагональные клетки. Для способности находить присутствие нужен отдельный расчёт: число найденных присутствий, делённое на все вручную подтверждённые присутствия. Если таких случаев в наборе нет, знаменатель равен нулю и показатель определить нельзя. Подписать его как 100% было бы ошибкой.
Отдельно договоритесь о событии. Название в тексте, рекомендация выбрать поставщика и ссылка на собственный сайт не являются одной меткой. Проверка совпадения ссылок не устанавливает точность обнаружения рекомендаций.
Как проверить один действующий отчёт
Результат работы: таблица проверки инструмента для одной конфигурации с обеими группами случаев и перечнем расхождений. Нужны сохранённые ответы, исходные вопросы, условия сбора и выгрузка распознавания. Если полные ответы недоступны, проверку по ним завершить нельзя.
- Зафиксируйте определение присутствия
Выберите событие под деловой вопрос отчёта. Для рекомендации требуется фрагмент, в котором компания предложена как вариант выбора, с сохранёнными условиями. Простое соседство названия с нужной темой не засчитывайте автоматически.
- Соберите контрастный набор
Отберите реальные сохранённые ответы как с подтверждённым присутствием, так и с отсутствием. Сохраните принцип отбора. Добавленные вручную случаи для испытания распознавания не превращайте в оценку распространённости бренда среди покупателей.
- Разметьте ответы до сверки с инструментом
Для каждого положительного случая сохраните точный фрагмент и идентичность компании. При похожих названиях установите, какой организации относится фраза. Неразрешённый случай пометьте отдельно, вместо принудительного «да» или «нет».
- Разберите клетки таблицы
Сопоставьте каждую ручную метку с выгрузкой. Для пропуска проверьте вариант написания и определение события; для ложного обнаружения прочитайте контекст. Недоступный ответ или ошибка загрузки не должны становиться отрицательным результатом.
После исправления правила повторно проверьте те же сохранённые ответы и добавьте новые реальные случаи, которые не использовались при правке. Сохраните версию правила. Изменение модели или способа сбора требует отдельной проверки сопоставимости, даже если старый процент выглядел убедительно.
Следующее решение: принимать инструмент для конкретно проверенного события и условий либо запросить недостающее испытание. Совпадение нулей может быть полезным результатом, но оно не закрывает вопрос о найденных брендах.