Распределение дохода от расширений

Как проверить изменение в вашей работе так, чтобы результат что-то значил: какая выборка нужна и когда остановиться.

Тестируйте цену, частоту и политику скидок в ВАШЕЙ работе с корректной статистикой — то, чего никто не предлагает малому и среднему бизнесу. Расчёт МОЩНОСТИ говорит, сколько наблюдений нужно, чтобы обнаружить интересующий вас минимальный эффект (при выбранных альфе и мощности); ПОСЛЕДОВАТЕЛЬНЫЙ ТЕСТ позволяет следить за результатом во времени, НЕ раздувая ошибку (граница объявляет вывод только в нужный момент — никаких «подглядел, и вышло значимо»). 🔴 Решение описательное: эффект с интервалом и n; коммерческий выбор за вами.

Опишите два варианта и метрику, укажите минимальный значимый эффект и нажмите «Рассчитать мощность»: Tenka скажет, сколько наблюдений нужно тесту. Затем «Оценить (последовательный тест)» — в карточке или в ⋮ строки — покажет, можно ли уже делать вывод.

Вы указываете наименьший эффект, который стоило бы обнаружить, а экран рассчитывает, сколько случаев нужно, чтобы его увидеть. Запускать тест с недостаточной выборкой — значит потратить недели и остаться без ответа, а потом заключить «разницы нет», хотя не хватило объёма.

Минимальный эффект — наименьшая разница, которую стоило бы обнаружить, в долях (0,05 = 5 процентных пунктов): чем он меньше, тем больше наблюдений требует тест. Альфа — допустимая вероятность объявить эффект там, где его нет (ложноположительный результат). Мощность — вероятность обнаружить эффект, когда он действительно существует. Все три параметра используются для расчёта необходимой выборки (необходимое n), которую таблица сравнивает с уже собранной выборкой (текущее n), пока идёт эксперимент.

Экран стал стандартным списком: поиск, фильтры, сохранённые виды, столбцы, экспорт и корзина с отменой. Нажмите на запись (или «Создать»), чтобы открыть карточку с вкладками деталей, если они есть.

«Сохранить» записывает, не закрывая карточку (Ctrl+S); «Сохранить и закрыть» возвращает к списку; стрелки в заголовке переходят от записи к записи. «Удалить» отправляет запись в корзину списка, откуда её возвращает «Отменить».

Тот, кто постоянно смотрит на табло и останавливается, когда выигрывает, находит «эффект» там, где его нет, — ошибка накапливается с каждым подглядыванием. Последовательный мониторинг на этом экране позволяет смотреть, не раздувая эту ошибку: он говорит, когда делать вывод.

Записывается эффект с интервалом и n. Решение, внедрять изменение или нет, принимает владелец бизнеса — экран его не принимает и не рекомендует.

Эксперимент создаётся при сохранении, с объявленными вариантами A (контроль) и B (новый) и метрикой результата. Пока он идёт, колонка «текущее n» показывает собранную выборку в сравнении с необходимым n. Кнопка оценки применяет последовательный тест: если граница ещё не пересечена, эксперимент продолжается; когда пересечена — он завершается, и результат с решением появляется прямо в строке таблицы, — никаких «подглядел, и вышло значимо».

Если смотреть результат каждый день и останавливаться, когда он кажется хорошим, ошибка растёт. Последовательный тест это исправляет: пока граница не пересечена, он пишет «сбор данных продолжается» — даже если разница кажется большой. Записанное решение описательное; коммерческий выбор за вами.

Сколько наблюдений нужно, чтобы протестировать цену, частоту или скидку, — и когда можно сделать вывод, не обманывая себя. Заполните минимальный эффект, альфу и мощность и нажмите «Рассчитать мощность», чтобы увидеть нужное n до начала; затем следите с помощью последовательного теста (кнопка оценки в строке), который объявляет вывод только тогда, когда это позволяет статистическая граница. Записанный результат описательный: эффект с интервалом и n — коммерческое решение остаётся за вами.