MDE в статистике и A/B-тестах

Как пользоваться формулой

1. Сформулируйте, что именно нужно найти, и выберите запись MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}}.
2. Выпишите исходные величины: MDE — минимальный детектируемый эффект (разница долей) (доля); z_{1-\alpha/2} — критический порог по значимости (безразмерное); z_{1-\beta} — критический порог по мощности (безразмерное).
3. Проверьте единицы, период, диапазон таблицы или геометрическую схему.
4. Подставьте значения без раннего округления.
5. Сверьте знак, масштаб и поведение результата при изменении главного параметра.

Историческая справка

История записи «MDE в статистике и A/B-тестах» связана с практикой A/B-тестов и продуктовой статистики. Такие формулы закреплялись потому, что помогали требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. В учебниках и справочниках постепенно стабилизировались обозначения: MDE — минимальный детектируемый эффект (разница долей) (доля); z_{1-\alpha/2} — критический порог по значимости (безразмерное). Современная форма MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}} ценна тем, что дает короткий путь от условия к проверяемому результату. Для этой страницы историческая справка полезна еще и как защита от неверной аналогии: Уровень значимости α, мощность теста 1-β и число наблюдений в группах зафиксированы до интерпретации результата. В разных источниках могут меняться буквы, порядок записи и единицы, но расчетная потребность остается прежней: сначала выбрать модель, затем проверить данные и только потом считать. Исторический блок здесь нужен не для украшения, а для понимания модели и ее границ.

Пример

Пример: в эксперименте вариант A получил 4 800 посетителей и 384 целевых действия, а вариант B — 5 100 посетителей и 438 действий. Цель для «MDE в статистике и A/B-тестах» — требуется требуется требуется требуется требуется требуется требуется требуется посчитать метрику или статистическую проверку по данным эксперимента. Сначала делают мини-таблицу параметров и отмечают источник каждого числа. Рабочие величины: MDE — минимальный детектируемый эффект (разница долей) (доля); z_{1-\alpha/2} — критический порог по значимости (безразмерное); z_{1-\beta} — критический порог по мощности (безразмерное). Дальше данные подставляют в MDE = (z_{1-\alpha/2}+z_{1-\beta})\sqrt{\frac{\hat p_A(1-\hat p_A)}{n_A}+\frac{\hat p_B(1-\hat p_B)}{n_B}} без смены модели по ходу решения. База сравнения здесь важнее красивого числа: если в одной группе считать пользователей, а в другой сессии, результат уже нельзя интерпретировать как эффект эксперимента; для этой записи отдельно сверяют MDE — минимальный детектируемый эффект (разница долей) (доля). В конце меняют один ключевой параметр мысленно. Направление изменения должно совпасть со смыслом задачи.

Частая ошибка

В «MDE в статистике и A/B-тестах» ошибка часто появляется до арифметики. Сверьте обозначения: MDE — минимальный детектируемый эффект (разница долей) (доля); z_{1-\alpha/2} — критический порог по значимости (безразмерное); z_{1-\beta} — критический порог по мощности (безразмерное). Нельзя менять метрику после просмотра результата, смешивать пользователей и сессии, включать повторные конверсии без правила дедупликации и сравнивать группы с разным окном наблюдения. Если ответ выглядит правдоподобно, проверьте его источник. Порядок простой: символ, значение, единица, источник, подстановка, округление.