Анализ A/B-вариантов

Отвечает, реальна разница между вариантами или это случайность

WebAsk v1.0БесплатноGitHub

Скачать навык

Вы пишете

Сравни варианты A/B по опросу — какой лучше

Ассистент собирает

23,3%
вариант a: 19,0%
вариант b: 4,3 п.п.
разница: мало
данных

Вариант A — «Три вопроса о вашем визите» 23,3%
Вариант B — «Опрос о качестве обслуживания» 19,0%

Победитель — только если он есть. «Данных мало» — тоже ответ. Цифры с базой, а не голые проценты.

Как работает

Считает от базы, а не в процентах
Проверяет, хватает ли данных
Сверяет сопоставимость
Не боится ответить «разницы нет»

Не объявлять победителя по расхождению в пару процентовНе сравнивать варианты за разные периодыНе подглядывать в результат и не останавливать тестНе считать разницу значимой только потому, что её очень ждутНе предлагать смену тарифа и не вести на оплату

Попробуйте ещё

Уже можно выбирать победителя теста или данных мало?
Проверь, значима ли разница между вариантами первого экрана

Открытый кодтекст навыка на GitHub, лицензия MIT
Доступ — у васработает по вашему ключу, отозвать можно в любой момент
2 инструмента все только читают — навык ничего не меняет в аккаунте
Бесплатнонавык — обычный файл, скачивается без регистрации

Коротко о главном

Что навык считает успехом?

То, что скажете вы: долю дошедших до конца, долю оставивших контакт или среднюю оценку. Если это не названо, ассистент сначала спросит — без цели сравнивать нечего.

Сколько ответов нужно, чтобы сравнивать?

Зависит от разницы: при пяти процентных пунктах нужны сотни наблюдений в каждой группе, при двадцати — десятки. Меньше сотни на группу — разница почти наверняка не доказана.

Какой ответ я получу?

Один из трёх: разница есть — с её размером и смыслом на практике; разницы нет — выбирайте вариант по другим соображениям; данных мало — сколько ещё собрать.

Почему «42 из 180», а не проценты?

Так видна база: 23% от 180 и 23% от 30 — разные вещи. Разницу навык считает в процентных пунктах, а не в процентах от процента.

Можно остановить тест, когда вариант вырвался вперёд?

Навык этого не посоветует: вырваться вперёд случайно — обычное дело. Решение — когда наберётся нужный объём.

Можно сравнить варианты за разные периоды?

Нет — сезонность сломает сравнение. Навык проверяет, что у групп один период и один источник трафика.

Навык что-нибудь меняет в опросе?

Нет. Оба его инструмента — сводка и отчёт — только читают данные.

Что нужно, чтобы заработало?

Опрос с ответами по вариантам теста, ключ API / MCP из кабинета WebAsk и ассистент с поддержкой MCP: Claude, Cursor, VS Code, Codex или Gemini CLI.

Как подключить

1 Создайте ключ
В кабинете WebAsk: Настройки → API / MCP. Ключ показывается один раз.
2 Подключите сервер
Добавьте в настройках ассистента адрес:

https://mcp.webask.io/mcp/v1
3 Добавьте навык
Скачайте архив и распакуйте в папку навыков:

.agents/skills/webask-ab-significance/