Языковой разрыв в ИИ меняется: две волны IndicGEO

Языковой разрыв в рекомендациях ИИ нельзя навсегда закрепить за системой. Две волны индийского исследования показывают, почему решение о локальном мониторинге стоит перепроверять и как при этом не спутать изменение ответов с изменением собственного словаря брендов.

Что изменилось между двумя замерами

В исследовании Depra AI десять покупательских вопросов о косметике и одежде задавали на английском и хинглише, смеси хинди и английского латиницей. Каждую версию повторяли восемь раз в трёх системах с геолокацией Индии. Сбор 14 августа 2026 года дал 480 ответов, повтор 13 октября 479. Это исследование коммерческого сервиса мониторинга, а не независимый аудит рынка.

Авторы сравнили пересечение названных брендов между языками с пересечением при повторе одного языка. Разность этих величин в пунктах индекса Жаккара составила:

Языковой разрыв в ИИ меняется: две волны IndicGEO
СистемаАвгустОктябрь
ChatGPT2,20,8
Gemini7,82,0
Perplexity23,428,2

У Gemini октябрьский результат не прошёл порог значимости 0,05; это не доказательство полного отсутствия эффекта. У Perplexity разрыв сохранился. Исследование ограничено двумя категориями, десятью вопросами и двумя временными окнами. Оно не устанавливает причину различий, не охватывает все индийские языки и не измеряет продажи.

Для команды бренда редакционный вывод таков: прежний языковой разрыв является наблюдением за конкретным периодом. Он не даёт основания считать английский набор достаточным или недостаточным для любой будущей проверки.

Почему нужен второй контроль: словарь названий

Depra сохранила августовский словарь для основного сравнения. В октябре нашлись заметно встречавшиеся бренды вне этого словаря; расширение изменило оценки, хотя общий рисунок сохранился. Поэтому изменение инструмента распознавания нужно учитывать отдельно от изменения ответов.

Это задача воспроизводимости самой проверки. Если аналитик в первом периоде объединял торговую марку с производителем, а во втором стал считать их раздельно, часть видимого движения может возникнуть внутри учёта. Сначала нужна единая единица наблюдения, затем вывод о представленности бренда.

Как подготовить сопоставимый повтор

Метод ниже предназначен для команды, у которой уже есть полные ответы первого замера. Результат работы: таблица различий с двумя причинами, изменением ответа и изменением правил извлечения. Для нового рынка сначала потребуется отдельный набор реальных покупательских вопросов; индийские вопросы не заменяют его.

  1. Выберите прежнее решение, которое хотите перепроверить.

    Например, решение вести локальную языковую серию отдельно. Возьмите вопросы, на которых оно было основано, вместе с исходными формулировками, полными ответами и условиями сбора. При отсутствии исходных ответов не восстанавливайте списки по старой итоговой диаграмме: начните новую базовую серию.

  2. Зафиксируйте неизменяемую часть.

    Сохраните версии вопросов, рынок, интерфейс, доступные настройки поиска и заранее выбранный план повторов. Языковые версии должен проверить человек, понимающий местную речь: бюджет, предмет выбора и ограничения должны совпадать. Изменившийся интерфейс пометьте отдельно, чтобы не объяснять всё языком.

  3. Примените старое правило извлечения к обоим периодам.

    Для каждого ответа сохраните исходное написание, нормализованное название и основание объединения вариантов. Совпадения с обычными словами проверяйте в контексте. Отсутствие названия в словаре и отсутствие бренда в ответе являются разными исходами.

  4. Проведите отдельную проверку расширенного словаря.

    Добавьте найденные новые названия по единому правилу и пересчитайте оба периода. Не добавляйте их только во второй. Сохраните обе версии результата, список добавлений и спорные случаи для ручной проверки.

В итоговой таблице нужны вопрос, система и интерфейс, язык, период, исходный ответ, список по старому правилу, список по новому правилу и причина различия. Ответ без брендов сохраняйте как отдельный исход. Для двух пустых списков индекс Жаккара не определён; не подставляйте произвольно ноль или сто процентов.

Какое решение принять

Если изменение между периодами сохраняется при обоих словарях, план наблюдения требует обновления на основании новых ответов. Если оно появляется только после пересмотра названий, сначала исправьте сопоставимость учёта. Если меняется доступная модель, поиск или регион, сохраните отдельную серию и отложите вывод о чистом языковом эффекте.

По сравнению с однодневной проверкой Stellarcast здесь добавляется другое решение: сохранять ли прежний вывод после нового периода и новой версии распознавания. Начните с одного решения, исходные ответы для которого уже сохранены, и составьте таблицу до любых изменений контента.

GEOисследования