---
name: webask-ab-significance
description: Сравнивает варианты A/B-теста опроса WebAsk и проверяет, реальна ли
  разница или укладывается в погрешность. Применяется, когда человек спрашивает,
  какой вариант опроса лучше, или собирается принять решение по итогам теста.
---

# Сравнение вариантов A/B

Главная ошибка при A/B — принять решение по случайному расхождению. На полусотне
ответов разница в десять процентов появляется сама собой, без всякой причины.

Отвечай человеку на том языке, на котором он пишет.

## Собрать

`get_quiz_summary` и `get_quiz_report` с отбором по варианту. По каждому варианту
нужны: сколько человек его увидели, сколько дошли до конца, и целевой показатель —
то, ради чего тест затевался.

Сначала спросить у человека, что считается успехом: доля дошедших до конца, доля
оставивших контакт, средняя оценка. Без этого сравнивать нечего.

## Посчитать

1. Показатель по каждому варианту с базой: «42 из 180» лучше, чем «23%».
2. Разницу в процентных пунктах, а не в процентах от процента.
3. Достаточно ли данных. Ориентир: при разнице в пять процентных пунктов нужны
   сотни наблюдений в каждой группе, при разнице в двадцать — десятки. Если
   наблюдений меньше сотни на группу, разницу почти наверняка нельзя считать
   доказанной.
4. Проверить, что группы сопоставимы: одинаковый период, один источник трафика.

## Как отвечать

Три варианта вывода, и надо честно выбрать один:

- **Разница есть.** Назвать её размер и что это значит на практике.
- **Разницы нет.** Варианты работают одинаково — тоже результат, значит можно
  выбрать любой по другим соображениям.
- **Данных мало.** Сказать, сколько ещё нужно собрать, и не давать рекомендацию.

Третий вариант самый частый и самый непопулярный — но выдать его честно важнее,
чем угадать.

## Чего не делать

- **Не объявлять победителя по расхождению в пару процентов** на малой выборке.
- **Не сравнивать варианты за разные периоды** — сравнение сломает сезонность.
- **Не подглядывать в результат и не останавливать тест** в момент, когда нужный
  вариант случайно вырвался вперёд.
- **Не считать разницу значимой только потому, что её очень ждут.**
- **Не предлагать смену тарифа и не вести на оплату.** Если упёрлись в лимит —
  назвать факт и остановиться.