Понять результаты

Анализ A/B-вариантов

Отвечает, реальна разница между вариантами или это случайность

Пакет
webask-ab-significance
Версия
1.0
Инструментов
2
Внутри
SKILL.md, обычный текст

Строка, по которой навык срабатывает

Сравнивает варианты A/B-теста опроса WebAsk и проверяет, реальна ли разница или укладывается в погрешность. Применяется, когда человек спрашивает, какой вариант опроса лучше, или собирается принять решение по итогам теста.

Она лежит во front-matter SKILL.md и целиком попадает в системный промпт. Всё остальное подгружается, только когда задача совпала.

Что делает

  1. Считает от базы, а не в процентах

    Не «23% против 19%», а «42 из 180 против 34 из 179» — по таким числам сразу видно, на чём основан вывод.

  2. Проверяет, хватает ли данных

    На полусотне ответов разница в десять процентов появляется сама собой. Навык скажет, когда выводы делать рано.

  3. Сверяет сопоставимость

    Разные периоды и разные источники трафика ломают сравнение — это проверяется до того, как назван победитель.

  4. Не боится ответить «разницы нет»

    Это тоже результат: значит вариант можно выбрать по другим соображениям.

Что на выходе

Цифры на схеме — пример. Навык считает по вашим реальным вариантам и сам выбирает, какой из трёх выводов честен.

Вариант A
23,3%

42 из 180 оставили контакт

Вариант B
19,0%

34 из 179

Разница
4,3 п.п.

в пользу A

Данных
мало

нужно от 400 на группу

Вариант A — «Три вопроса о вашем визите» 23,3%
Вариант B — «Опрос о качестве обслуживания» 19,0%

Победителя объявлять раноРазница в 4,3 пункта на выборке по 180 человек укладывается в погрешность. Чтобы утверждать, что A лучше, нужно около 400 прохождений в каждой группе.

Как попросить

  • Сравни варианты A/B по опросу — какой лучше
  • Уже можно выбирать победителя теста или данных мало?
  • Проверь, значима ли разница между вариантами первого экрана

Инструменты

Сам навык ничего не выполняет — он зовёт инструменты MCP-сервера. Пометка справа говорит, читает инструмент или меняет: по ней ваш клиент решает, спрашивать ли подтверждение.

Отчёт опросаget_quiz_report
читает
Сводка опросаget_quiz_summary
читает

Подключение

  1. Создайте ключ

    Настройки → API / MCP в кабинете. Показывается один раз.

  2. Подключите сервер

    https://mcp.webask.io/mcp/v1

  3. Распакуйте архив

    .agents/skills/webask-ab-significance/ — или каталог вашего агента.

На сервере 161 инструмента: 57 только читают, 24 необратимы и помечены. Документация MCP-сервера →

Рядом

  • Сравнение с собой прошлым

    Сравнивает опрос с ним же прошлым: отдельная цифра ничего не значит, разница — значит

    4 инстр. · v1.0
  • Качество заявок

    Считает не завершаемость, а сколько людей оставили пригодный контакт

    4 инстр. · v1.0
  • Воронка прохождения

    Показывает, на каком вопросе люди закрывают вкладку — и почему

    4 инстр. · v1.0

Подключите WebAsk к своему ассистенту

MCP-сервер, 14 дней Премиума, карта не нужна

Начать бесплатно