Содержание ↓
Почему одного вопроса в ChatGPT мало
Часть людей спрашивает у ChatGPT или Perplexity то, что раньше искала в поисковике: где сделать снимок зуба в выходные, какой сервис выбрать, кому доверить задачу. Бренд либо попадает в ответ, либо нет, и в веб-аналитике этого не видно.
Первое, что делает маркетолог, — открывает чат и спрашивает сам. Один ответ ничего не доказывает. Модель отвечает с разбросом, и тот же вопрос через минуту даёт другой список. К тому же веб-поиск есть не у всех движков, и те, что отвечают из памяти, отвечают иначе. Нужна панель вопросов, повторы и счёт, который не зависит от настроения модели. Про подход я выступал с кейсом на стратегической сессии «SEO vs GEO» у «Импульс Гуру» в марте 2026 года, запись есть на странице сессии.
Как устроена панель
В панели 567 вопросов, разложенных по трём ярусам. Слепой вопрос не называет ни бренд, ни категорию сервисов: человек решает свою задачу, и бренд может появиться как совет или источник. Категориальный просит выбрать сервис. Брендовый называет бренд прямо: сравнить с другими, проверить, что модель о нём знает. Вопросы собраны из 24 шаблонов под 20 намерений пользователя, и шестьдесят из них гоняются трижды, чтобы видеть разброс.
| Ярус | Условный вопрос для сети клиник |
|---|---|
| Слепой | «Зуб ноет от холодного — это повод идти к врачу?» |
| Категориальный | «Где в Казани сделать снимок зуба в выходные?» |
| Брендовый | «Клиника А или клиника Б — где лечить кариес?» |
Замеров у меня два, и устроены они по-разному. Скрипт раз в месяц прогоняет панель по ChatGPT, Gemini, Perplexity и Claude и заливает результаты в кабинет. Полная панель идёт на дешёвых движках, для платных есть стратифицированная выборка на 151 вопрос. Кабинетный скан гоняет свой набор активных вопросов по шести движкам: ChatGPT, Gemini, Perplexity, DeepSeek, GigaChat и имитации Google AI Overview. Имитацию я так и подписываю: это модель OpenAI с системной инструкцией отвечать в манере сводки Google. Claude попадает в кабинет отдельным ночным прогоном.
Прогон режется на пары «вопрос × движок», и их разбирают восемь параллельных воркеров. У каждого вызова жёсткий таймаут и до трёх попыток на ошибках 429 и 5xx. Вопросы уходят с температурой 0,7, так что разброс ответов входит в замер, а гасят его повторы и усреднение. Упавший прогон продолжается с места остановки: готовые пары пропускаются.
Две оси: текст и источники
Каждый ответ оценивается по двум осям. По тексту я смотрю, назван ли бренд, каким по счёту среди всех брендов и кто стоит рядом. Ось источников отвечает на другой вопрос: процитирован ли сайт бренда, на каком месте и какая доля ссылок категории приходится на его домены. Оси ловят разное. Условная клиника может стоять в ответе первой, а модель при этом сошлётся на агрегатор отзывов, и тогда работать надо с контентом, который модель цитирует. Ось источников живёт на движках с веб-поиском: параметрические модели отвечают из памяти и ссылок не дают.
Упоминание код ищет по словарю написаний бренда: латиница, кириллица, домен, слитно и раздельно. Двухбуквенные сокращения из словаря убраны, они совпадают с кусками других слов. Позиция — порядок первого упоминания среди всех брендов. Вокруг упоминания сохраняется фрагмент текста, чтобы ответ можно было прочитать глазами. Ссылки из ответа код разбирает как URL, домен засчитывается один раз на ответ.
Тональность модель выбирает из трёх категорий — позитив, нейтрально, негатив — и добавляет силу тона с коротким обоснованием. Значение от −1 до 1 с шагом 0,5 из категории выводит уже код. Ответ модели проверяется схемой поштучно, битый элемент отбрасывается, а если упал весь проход тональности, факт упоминания всё равно остаётся.
Для каждой пары «вопрос × движок» код считает долю прогонов, где бренд назван, и усредняет её, так что одна удачная или неудачная попытка картину не двигает. Сигнал детектор даёт, когда доля бренда между двумя прогонами падает на 15 пунктов и больше. Второй повод — другой игрок поднялся до 20 пунктов там, где его почти не было. По умолчанию сигналы только показываются, инциденты детектор заводит после трёх прогонов истории.
Почему упоминание ищет словарь
Модель мы здесь измеряем, и доверять ей же подсчёт было бы странно. Раньше упоминание бренда определяла она и пропускала бренд, прямо написанный в тексте. Поиск по словарю так не ошибается: есть написание в ответе — упоминание засчитано. С оценками модели в других разделах кабинета та же история: от прогона к прогону они гуляют и завышаются.
После прогона модель пишет аудит по метрикам скана: сильные и слабые стороны, пять–семь действий с приоритетом, сегменты вопросов для фокуса. Смотрит она на структуру контента, авторитетность и техническое присутствие, вплоть до файла llms.txt и доступа ботов нейросетей к сайту. Приёмы про ссылки на источники, статистику и цитаты экспертов опираются на исследование GEO.
Что получает маркетолог
Основной экран — дашборд: видимость по движкам и сегментам вопросов, доля среди брендов, тональность, история прогонов. Рядом таблица сырых ответов с фильтрами, где видно, что именно сказала модель. Список цитируемых доменов — это готовый перечень площадок, где бренду стоит появиться. Для собственных срезов есть выгрузка, её режут в Excel по движку, ярусу и намерению.
Где мы спотыкались
Движок, который завис без ответа, держал воркер вечно: таймаута у вызова поначалу не было вовсе. Восемь воркеров один за другим уходили в ожидание, и скан вставал целиком. Помогли жёсткий таймаут на каждый вызов и повтор на временных ошибках.
Однажды скан не запускался несколько недель, и ни один сигнал об этом не ушёл: сторож свежести про этот поток не знал. Нашли при ручном аудите источников. Сторожа с тех пор расширили, но GEO к нему подключили не сразу, и это был мой долг.
JSON-режим провайдера гарантирует только синтаксис. Пока ответ разбирался простым приведением типа, кривой ответ мог молча испортить тональность, теперь его ловит схема. А поле с обоснованием удлиняет ответ, и при тесном лимите токенов JSON обрезается на середине, поэтому лимит подняли до 900 токенов.
Минимальная версия
Для первой версии хватит нескольких десятков вопросов в трёх ярусах и двух движков с веб-поиском. Упоминание я бы с самого начала искал словарём, а источники — разбором ссылок. Тональность можно оставить модели. Что делать с результатами замера, я рассказываю на странице GEO, а панель под вашу категорию соберём на консультации.
- Claude Code
- TypeScript
- Python
- Next.js 15
- Supabase (Postgres)
- OpenAI API
- Perplexity API
- Gemini API
- GigaChat API
- DeepSeek API
