Иван Максимов | 13 способов ускорить А/В тест, или “Не CUPED-ом единым“

ML in Marketing hub: Телеграм-канал Спикер: Иван Максимов, Data Science Team Lead at Delivery Club Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов. Что было в докладе: 00:00 начало видео 01:18 сразу о результатах 02:07 содержание доклада 03:03 как выбирать АБ параметры 07:47 расчет количества групп 11:09 расчет количества метрик 16:18 трансформация метрик 18:58 линеаризация ratio метрик 23:39 как снизить дисперсию метрик 28:02 пост-стратификация, Cuped, cupac 31:20 !ссылка на статьи 32:44 параллельные тесты 35:07 механика бакетов 40:24 стандарт дизайна АБ теста 44:35 календарь АБ 45:29 авто расчет АБ 46:12 культура принятия решений после АБ 47:36 результаты 48:47 с чего начать внедрение АБ в компании Посмотреть QNA сессию можно по этой ссылке Ссылка на презентацию: Соцсети Data Fest: