ИИ-поисковики выдают разные результаты на идентичные запросы

Автор эксперимента трижды задал нейросетевому поиску запрос о вызове мастера на дом. В результате получил три уникальных набора компаний: первый список включал 9 названий, второй — 12, а третий — 7. При этом лишь пять компаний совпали во всех трёх попытках, а в некоторых случаях списки не пересекались вовсе.

Подобная изменчивость указывает на то, что метрики, основанные на однократных замерах (например, «вас упоминают в 20% ответов»), могут быть случайными и не отражать реальную картину. Рост таких показателей на несколько процентов может быть обусловлен не улучшением позиций, а обычной погрешностью ИИ-системы.