Калькулятор A/B-тестов

Введите посетителей и конверсии по вариантам, и калькулятор покажет, значима ли разница и в каких пределах вырос показатель. На второй вкладке считается, сколько посетителей нужно для теста и сколько дней он займёт.

Что считается

Значимость проверяется двусторонним z-тестом для двух долей. Разница показывается двумя способами: в процентных пунктах и в процентах от конверсии контроля, у обоих есть доверительный интервал. Интервал важнее одной цифры: рост на 30 % с интервалом от 2 до 66 % значит, что настоящий эффект может оказаться и совсем скромным.

Как читать результат

p-value — это вероятность увидеть такую же или бо́льшую разницу, если на самом деле варианты одинаковы. Вероятностью того, что вариант B лучше, оно не является. Тест стоит доводить до рассчитанной выборки: если остановить его в тот день, когда разница впервые стала значимой, ложных побед будет заметно больше.