Калькулятор t-test

Проверьте, отличается ли средний показатель в двух независимых группах. Калькулятор использует Welch t-test, который не требует равных дисперсий.

Welch t-test — статистический тест для сравнения средних двух независимых групп при возможном различии дисперсий.

Частые вопросы по расчету

Значения групп

Группа A

Числа через запятую или с новой строки

Группа B

Числа через запятую или с новой строки

Формула

t = (meanA - meanB) / sqrt(sdA^2/nA + sdB^2/nB). df считается по формуле Welch-Satterthwaite.

t-statistic

—

Расчет

Welch t-test

Данные не сохраняются - расчет происходит в вашем браузере.

Интерпретация

Измените параметры слева, чтобы пересчитать результат.

Соберите ответы в WebAsk и считайте метрики автоматически

Создать опрос бесплатно

Нужна выборка респондентов и отчет? Поможем провести исследование под ключ

Заказать исследование

Как считается Welch t-test

Средние

Тест сравнивает разницу средних относительно разброса внутри групп.

Welch

Подходит, когда размеры групп и дисперсии отличаются. Это более безопасный дефолт.

p-value

Показывает, насколько наблюдаемая разница совместима с гипотезой об одинаковых средних.

Размер эффекта

После p-value полезно считать Cohen d, чтобы понять практический масштаб различия.

Примеры расчета

1 Оценка интерфейса A/B

A: 7, 8, 8, 6, 9

B: 8, 9, 9, 7, 10

Если p-value ниже 0.05, разницу средних можно считать статистически значимой.

2 Время выполнения задачи

Старая версия: 55, 60, 52

Новая версия: 43, 47, 41

Тест помогает понять, достаточно ли данных для вывода об улучшении.

Перед выводами

Чего избегать

Короткий список ошибок, которые чаще всего портят результат, проверку или запуск исследования.

01
Использовать для зависимых измерений Если одни и те же люди прошли два условия, нужен paired t-test, а не независимый Welch t-test.
02
Игнорировать форму распределения При очень малых выборках и сильных выбросах результат может быть нестабилен.
03
Путать значимость и эффект p-value не показывает, насколько разница важна для бизнеса. Смотрите также размер эффекта.

Часто задаваемые вопросы

Почему используется Welch t-test?

Он устойчивее классического t-test, потому что не требует равных дисперсий и одинаковых размеров групп.

Что означает p-value?

Это вероятность увидеть такую или более сильную разницу при условии, что средние на самом деле равны.

Можно ли использовать для шкалы 1-5?

На практике используют, если шкалу трактуют как интервальную. Для строгого анализа можно дополнить непараметрическим тестом.

Сколько наблюдений нужно?

Чем меньше эффект и выше разброс, тем больше нужна выборка. Для очень малых групп выводы осторожные.

Что делать, если p-value выше 0.05?

Это не доказывает отсутствие эффекта. Возможно, эффект мал или выборка недостаточна. Проверьте мощность и размер эффекта.

Когда t-test не подходит?

Если группы зависимые, данные сильно категориальные или выборка очень мала с экстремальными выбросами.

Почему выбран Welch t-test?

Он безопаснее как дефолт, потому что не требует равных дисперсий и одинаковых размеров групп.

Что показывать вместе с p-value?

Средние групп, размер выборки, стандартные отклонения, доверительный интервал и размер эффекта.

Можно ли тестировать много метрик сразу?

Можно, но растет риск ложноположительных выводов. Для большого числа тестов нужна корректировка или приоритизация гипотез.

Как объяснить результат бизнесу?

Скажите, есть ли статистическая поддержка разницы, насколько она велика и стоит ли она продуктового решения.

Все калькуляторы

Считайте метрики без ручных таблиц

Создайте опрос в WebAsk, собирайте ответы и получайте аналитику по сегментам, каналам и периодам.