Идея исследования появилась после простого вопроса при работе над собственным сервисом отслеживания: если мониторинг AI-видимости собирает ответы через API, насколько эти данные похожи на то, что обычный пользователь видит в ChatGPT?
На практике многие сервисы и агентства для GEO/AEO-аналитики в России работают через API. Это понятно: API удобен, стабилен, быстрее масштабируется.
Но есть нюанс.
Пользователь не сидит в API. Он открывает ChatGPT в веб-интерфейсе.
OpenAI указывает, что ChatGPT может автоматически искать в сети, переписывать промпт в один или несколько поисковых запросов, использовать общую геолокацию по IP и, если память включена, учитывать релевантную информацию из нее при переписывании поискового запроса. Последний фактор в этом исследовании мы специально оставили за скобками.
Мы же не утверждаем, что знаем внутреннюю механику OpenAI. Мы ее не знаем, но для маркетинга это и не главный вопрос. Главный вопрос проще:
Какой сбор данных ближе к тому, что видит реальный пользователь?
В мае 2026 года мы в NeuroUP решили не гадать и сравнили API-ответы с ответами из интерфейса ChatGPT.
Наша гипотеза была такой: UI-ответы ChatGPT могут заметно отличаться от API-ответов даже при одинаковой модели и близких настройках. А значит, API может быть плохим вариантом для мониторинга AI-видимости бренда.
Как устроен эксперимент
Мы сравнивали ответы ChatGPT в двух режимах:
- API: запросы отправлялись через API с подключенным
web_search. - UI: ответы собирались через веб-интерфейс ChatGPT.
Всего в эксперименте было:
| Параметр | Значение |
|---|---|
| Количество запросов | 200 |
| Период | 5 дней: с 2 по 6 мая 2026 года |
| Ответов в UI | 1 000 |
| Ответов в API | 1 000 |
| Парных сравнений | 1 000 |
Запросы запускались попарно и одновременно: один и тот же запрос в API и UI в одно и то же время. Так мы снижали риск, что различия появились просто из-за разного времени дня, обновления источников или краткосрочной нестабильности поиска.
Мы смотрели на три категории:
- Финансы: дебетовые карты, кредитные карты, кредиты, вклады, накопительные счета, инвестиции.
- Страхование: ОСАГО, КАСКО, страхование недвижимости, ДМС.
- Онлайн-обучение: английский язык, Python, нейросети, аналитика данных.
Нас интересовали не информационные запросы вроде «что такое вклад» или «как работает ОСАГО». Мы брали сценарии выбора, где в ответе естественно могут появляться бренды.
Например:
| Сценарий | Промпт |
|---|---|
| Выбор дебетовой карты | помоги выбрать карту с бесплатным обслуживанием и нормальным кэшбэком |
| Поиск кредитной карты с длинным льготным периодом | где лучше оформить кредитную карту онлайн, чтобы был большой льготный период |
| Выбор вклада по сроку и сумме | какой вклад лучше на 12 месяцев с возможностью пополнения и снятия в любой момент |
| Выбор ОСАГО для оформления | какое ОСАГО лучше оформить водителю без стажа |
| Выбор ДМС | посоветуй ДМС для ребенка, чтобы были педиатр, анализы и хорошие клиники |
| Выбор курса по уровню | какие курсы английского помогут начать говорить, если уровень A1 |
| Выбор курса по работе с нейросетями | подбери обучение по ИИ для дизайнера, где учат применять нейросети в работе |
Запросы формировались на основе разных интентов и частых контекстов выбора. Для этого дополнительно использовались паттерны спроса из классического поиска на основе данных Wordstat и Google Ads API.
Как мы выравнивали условия
Чтобы сравнение было честнее, мы постарались максимально сблизить условия API и UI.
На момент теста использовалась актуальная версия GPT (Instant 5.3) в ChatGPT UI
и аналогичная версия в API. В API был подключен инструмент web_search, при
этом модель сама решала, когда использовать поиск, что аналогично подходу в UI.
Для UI использовались новые аккаунты с оплаченной подпиской Plus и отключенной памятью. Это нужно было, чтобы не смешивать эффект UI с влиянием накопленной персонализации.
ChatGPT не работает в России напрямую, и пользовательский геоконтекст может влиять на то, какие источники и компании модель считает релевантными. OpenAI прямо указывает, что ChatGPT Search может использовать общую геолокацию на основе IP для повышения релевантности результатов.
Даже если пользователь пишет на русском, ChatGPT не всегда ищет только по русскоязычным источникам. Иногда в ответ попадают результаты, релевантные не российскому рынку, а географии пользователя.
Поэтому и в API, и в UI мы добавили инструкцию:
«Всегда формируй поисковые запросы только на русском языке.»
Это не идеальная защита от всех искажений. Но она помогала сделать ответы ближе к русскоязычному пользовательскому сценарию без того, чтобы каждый раз дописывать в запросе «я из России».
Теперь к цифрам.
UI намного чаще использовал поиск
Самым заметным различием является частота обращения к поиску.
В нашем эксперименте API почти в 3,8 раза чаще отвечал без поиска, чем UI.
Это критично для бренд-мониторинга.
Если ChatGPT не идет в поиск, он чаще опирается на модельные знания и уже имеющийся контекст. Если идет в поиск, в ответ может попасть свежий набор страниц, рейтингов, сравнений, обзоров, сайтов брендов, агрегаторов и медиа.
UI использовал в 7 раз больше источников
В тех парах, где поиск использовался, различие стало еще сильнее.
| Метрика | UI | API |
|---|---|---|
| Среднее количество используемых источников на ответ | 21 | 3 |
UI использовал в среднем в 7 раз больше источников.
Более того, мы отдельно посмотрели пересечение цитируемых источников между API и UI. Среднее пересечение составило 13%, это очень низкий показатель.
Для AI-видимости важен не только факт упоминания бренда, но и источники, из которых модель собирает ответ. Если они в API и UI разные, стратегия оптимизации тоже будет отличаться.
Бренды появляются примерно одинаково часто, но это обманчиво
На верхнем уровне разница кажется не такой большой.
UI немного чаще упоминал бренды и показывал в среднем на 10,9% больше брендов в одном ответе.
На этом можно было бы остановиться и сказать: «Ну, разница есть, но не драматичная».
Но снова есть нюанс.
При попарном сравнении ответов, бренды совпадают всего на 28,1%.
Это низкий показатель, но он не означает, что API и UI показывают две полностью разные реальности. Мы дополнительно сравнили ответы внутри самих каналов: в ответах с поиском пересечение брендов составило 32,5% в UI и 30,5% в API, без поиска 26% в UI и 38,5% в API. То есть даже внутри одного и того же канала наборы брендов заметно меняются.
То есть похожая вариативность видна даже там, где мы сравниваем не API с UI, а ответы одного типа между собой. Поэтому 28,1% лучше трактовать не как отдельное доказательство разрыва между API и UI, а как показатель общей нестабильности брендов в ответах ChatGPT.
И именно здесь появляется риск. Если в API ваш бренд сравнивается с одними конкурентами, а в UI пользователь видит других, то ваша стратегия, построенная на API, будет расходиться с реальностью.
Общий пул брендов похож, но UI дает больше разнообразия
Всего в эксперименте было найдено 82 уникальных бренда.
Из них:
| Метрика | Количество брендов |
|---|---|
| Уникальных всего | 82 |
| Встречаются и в UI, и в API | 62 |
| Уникальных в UI | 75 |
| Уникальных в API | 69 |
На уровне всего пула картина выглядит похожей: 62 бренда встречались и в UI, и в API. То есть API не живет в полностью другой вселенной. Он показывает многие из тех же брендов, но по отдельным компаниям расхождения могут быть большими.
Например, в сегменте онлайн-обучения Skillbox упоминался 93 раза в UI и 39 раз в API, Eduson Academy 50 раз в UI и 6 раз в API. В страховании Дефанс Страхование упоминалось 59 раз в UI и 20 раз в API.
По категориям среднее количество брендов в ответе выглядело так:
| Категория | UI | API |
|---|---|---|
| Финансы | 3,3 | 3,3 |
| Страхование | 5,6 | 5,2 |
| Онлайн-обучение | 2,8 | 1,8 |
Особенно заметная разница была в онлайн-обучении: UI в среднем называл больше брендов, чем API.
Это еще один хороший пример, почему агрегированная метрика может сглаживать проблему. Кажется, что UI просто немного чаще называет бренды, но по отдельным категориям видно другое: в одних API почти повторяет UI по количеству альтернатив, а в других может существенно сужать конкурентное поле, которое видит пользователь. Важно смотреть на распределение именно в вашей категории.
UI-ответы выглядели чуть живее
Если смотреть на ответы глазами, UI чаще выглядел менее академично и чуть более «живым».
Разница по длине при этом была небольшой:
UI был примерно на 6% длиннее по символам и на 8,8% длиннее по словам. Но не думаю, что из этого можно сделать какие-либо полезные выводы.
Ограничения исследования
Наш эксперимент не доказывает, что UI всегда и во всех категориях будет расходиться с API ровно так же. Мы проверяли конкретный набор условий:
- Мы тестировали три категории: финансы, страхование и онлайн-обучение. В других нишах разрыв API/UI может быть другим.
- Период составил 5 дней. Этого достаточно, чтобы увидеть заметное расхождение, но недостаточно, чтобы описать сезонность или долгосрочную динамику.
- Память была отключена. В реальном пользовательском опыте память и персонализация могут дополнительно менять ответы.
- Мы использовали инструкцию про русский язык поисковых запросов. У обычного пользователя такой инструкции может не быть.
- OpenAI регулярно меняет модели и поведение ChatGPT. Поэтому такие исследования нужно повторять и всегда фиксировать дату, модель и настройки.
Что это значит для маркетологов, PR и агентств
Мы начинали это исследование не ради спора «API против UI». Вопрос был практический: на каких данных вообще можно строить сервис отслеживания AI-видимости?
После 1 000 парных сравнений наш ответ стал понятнее: API не стоит автоматически считать заменой пользовательского ChatGPT.
В нашем исследовании ChatGPT UI и API:
- по-разному использовали поиск;
- опирались на разное количество источников;
- почти не совпадали по цитируемым источникам;
- на уровне конкретного ответа давали заметную вариативность брендов;
- по отдельным брендам могли заметно расходиться.
API удобен, стабилен и хорошо ложится в дашборды. Но удобство сбора данных не делает его полноценной заменой UI-мониторинга.
Поэтому UI-first подход в NeuroUP — не техническая прихоть и не попытка усложнить продукт. Это ответ на простой вопрос из начала исследования: если мы хотим понимать, что видит пользователь, мы должны смотреть туда же, куда смотрит пользователь.