Прогноз ИИ-видимости: сложная модель почти не обошла простую базу

Прогноз роста доли упоминаний бренда выглядит полезнее обычного отчёта о прошлом. Но прежде чем использовать его для GEO-решения, стоит сравнить модель с простой схемой на тех же будущих неделях. В новом кейсе AIOPulse преимущество сложного подхода оказалось небольшим.

С чем сравнили прогноз

В кейсе AIOPulse от 8 ноября использовали данные 56 отраслей и 290 брендов за 3 августа – 8 ноября 2026 года. Для прогнозирования роста проверяли четыре отложенные недели; обучающие примеры брали из предыдущих недель.

Лучшие варианты Kumo Relational получили среднее AUROC 0,66 при прогнозе направления изменения доли. Простая схема возврата к четырёхнедельному среднему дала 0,65. По оценке авторов, преимущество на 0,01 укладывалось в изменчивость результатов. AUROC здесь не означает процент точно угаданных недель.

Прогноз ИИ-видимости: сложная модель почти не обошла простую базу

Для уровня следующей доли картина другая: средняя абсолютная ошибка лучшего варианта составила 1,69 процентного пункта против 1,72 у схемы «следующая неделя равна текущей». Это отдельная задача и другая базовая схема.

AIOPulse является коммерческим японским сервисом. Данные отражают его панель, а не спрос всех покупателей. Доля относится к появлениям среди отслеживаемых брендов; состав сбора и модель Gemini в периоде менялись. Работа не является контролируемым тестом влияния GEO-правок и не даёт универсальной точности прогноза для другого проекта.

Сначала выберите решение, затем метрику

Редакционная интерпретация: предсказать уровень доли, направление её изменения и порядок брендов по будущему росту означают три разных задания. Модель может неплохо предсказывать обычный уровень заметного бренда, но не помогать выбрать, кому отдавать редакционный ресурс.

Если решение связано с исправлением неверного факта о продукте, прогноз доли вообще не заменяет проверку ответа. Если команда оценивает прогнозный инструмент, сначала запишите, какое действие зависит от него и какую ошибку она готова принять.

Соберите честную таблицу сравнения

Понадобятся сохранённые прогнозы с временем создания, фактические значения последующих недель, определение доли и журнал условий сбора. Если доступны только удачные скриншоты без всех прогнозов, сравнение пока невозможно: запросите полный ряд, включая неудачные случаи.

Неделя и брендУсловия и определение долиПрогноз моделиПрогноз простой базыФактОшибка каждого подхода
Сохранённый периодСистемы, вопросы, рынок и версия расчётаСоздан до начала периодаПо заранее выбранному правилуИз той же базыПо одной формуле
  1. Зафиксируйте базу до результата.

    Для прогноза уровня можно начать со значения текущей недели. Для направления нужен явно заданный простой соперник. Не выбирайте его задним числом так, чтобы сложная модель выиграла.

  2. Проверьте время.

    Каждый прогноз должен использовать только сведения, доступные до прогнозируемого периода. Настройка по уже известным исходам требует новой отложенной проверки; красивые результаты на старых неделях её не заменяют.

  3. Сравните общие пригодные строки.

    Используйте одинаковые бренды, вопросы и недели для обоих подходов. Изменение определения доли или режима системы обозначьте отдельно. Отсутствующие наблюдения оставьте пропусками и покажите исключения.

  4. Посчитайте ошибку нужной задачи.

    Для уровня в каждой строке возьмите абсолютную разницу между прогнозом и фактом, затем усредните по общей базе. Оба значения должны быть в одной шкале. Результат подпишите как ошибку уровня, не как точность направления или лидерства.

Сохраните ошибки по каждой неделе, а не только общий итог. Если выигрыш держится на одном периоде, нужна дополнительная проверка. Если простая база сопоставима, у команды пока нет доказательства, что сложность помогает именно её решению.

Даже хороший прогноз не доказывает, какая публикация вызовет рост. Следующий шаг: либо продолжить отложенную проверку инструмента, либо вернуться к конкретному фактическому пробелу в ИИ-ответах. Обещание будущего процента не является готовым заданием на изменение контента.

GEOИзмерения