​Успех идеи нельзя оценивать только по результатам одного эксперимента

​Успех идеи нельзя оценивать только по результатам одного эксперимента.

Для успеха идеи часто требуется несколько итераций.

Успешность A/B-тестов составляет 10-20%, а процент ложных срабатываний - 22%.

Узнайте, как избежать ложных срабатываний с помощью этого метода.

1. Настройте A/B-тест на 80% мощности.

2. Запустите его на начальный период (например, на 2 недели).

3. Проанализируйте результаты:

— Если p-value < 0,01: успех и прекращение.

— Если p-value 0,01 - 0,05: продление эксперимента

— Если p-value > 0,05: нет значимого эффекта и прекращение.

4. Если продлевать, увеличьте размер выборки или увеличьте продолжительность эксперимента (например, еще на 2 недели) и объедините p-value, полученные на обоих этапах (например, по методу Фишера).

5. Если объединенное p-value < 0,05, объявите эксперимент успешным, в противном случае объявите об отсутствии значимого эффекта и остановитесь.

Новая статья Рона Кохави обязательна к прочтению.

В ней не только предложена схема уменьшения числа ложноположительных результатов, но и показано, как рассчитать коэффициент ложноположительных результатов, а также приведен калькулятор для электронных таблиц.

Кроме того, в ней объясняется, как использовать библиотеку "ldbounds" в R.

🔗 https://drive.google.com/file/d/1CgyJVd4SZJT1i5TzlnBGmzs94Rbu6uTQ/view

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/3532...