Tripadvisor разработал Baldur — инструмент для...

139

Tripadvisor разработал Baldur — инструмент для самостоятельного проведения экспериментов, специально созданный для маркетинговых инициатив.

Этот инструмент обеспечивает более эффективное принятие решений благодаря демократизированным процессам экспериментирования, которые ранее тормозились из-за необходимости привлечения дата-сайентистов.

Маркетинговые эксперименты фундаментально отличаются от продуктовых A/B-тестов.

В стандартных A/B-тестах отдельные пользователи случайным образом распределяются в контрольные или экспериментальные группы, что позволяет контролировать все сторонние переменные.

Такая рандомизация на уровне пользователей позволяет напрямую делать выводы о причинно-следственных связях влияния функций.

Однако маркетинговые эксперименты имеют дело с "аморфными группами", а не с отдельными пользователями, поскольку кампании нацелены на более широкие сегменты, такие как определенные рыночные зоны (DMA) или категории поисковых запросов.

Эта структурная разница создает три существенные проблемы:

— Совокупные эффекты и конфаундеры на уровне группы создают большие различия в том, как метрики реагируют на кампании

— Пользователи могут перемещаться между экспериментальными единицами, нарушая предположение о стабильности значения воздействия (SUTVA)

— Доступно меньше экспериментальных единиц для распределения, при этом высокообъемные единицы могут доминировать в поведении группы

Для решения этих ограничений Baldur использует методологию разности разностей (DiD).

DiD предполагает, что параллельные временные ряды из одного источника данных продолжали бы развиваться параллельно без вмешательства.

Процесс включает:

1. Случайное разделение экспериментальных единиц на группы

2. Построение графиков агрегированного ежедневного поведения для каждой группы

3. Использование параллельных трендов до эксперимента как основы для валидных контрольных и экспериментальных групп

Когда эксперимент запускается, любая наблюдаемая разница между контролем и тестом приписывается эффекту воздействия.

DiD рассчитывается путем сравнения разницы между тестом и контролем в пост-периоде с разницей в пре-периоде.

Поскольку случайная группировка редко дает естественно параллельные тренды при ограниченном количестве экспериментальных единиц, Baldur автоматизирует поиск оптимальных разделений.

Инструмент проводит пользователей через этапы конфигурации, включая:

— Добавление метаданных

— Написание SQL-запросов с определенными требованиями к столбцам

— Установку параметров, таких как дата начала пре-периода, метрики и количество вариантов

Затем Baldur выполняет процесс, который:

1. Создает случайные разделения с использованием стратифицированной выборки

2. Агрегирует каждую группу по дням для создания временных рядов

3. Сравнивает временные ряды, используя такие метрики, как корреляция Пирсона, MAPE и дрифт

4. Повторяет процесс для запрошенного количества разделений

5. Ранжирует результаты для определения лучшего разделения

6. Выводит визуализации для оценки пользователем

7. Генерирует таблицу с назначениями вариантов

8. Анализирует результаты, используя t-тесты для DiD для расчета p-value

Эта автоматизация позволила стейкхолдерам Tripadvisor самостоятельно создавать и измерять маркетинговые и SEO эксперименты, ускоряя обучение и инновации.

https://medium.com/tripadvisor/introducing-baldur-tripadvisors-self-serve-experimentation-tool-for-marketing-7fc9933b25cc

@MikeBlazerX