Метка: MAB

Байесовские бандиты против A/B/n тестов

Байесовские бандиты против A/B/n тестов

Тема A/B тестирования неисчерпаема, и на самом деле нетривиальная. Так же как споры об эффективности по сравнению с набирающими популярность подходами на основе Байесианских методов, в частности многорукие бандиты

Хорошая краткая вводна и сравнение двух подходов в статье на русском сообществе Open Data Science, не пугайтесь математической нотации, на самом деле все понятно объясняется обычным языком, включая математичекие принципы, лежащие в основе этих подходов.

Подробные руководства на русском о различных аспектах поготовки, запуска, и интерпретации результатов A/B тестов, можно почитать у известного игрока на этом рынке, французского агентства KAMELEOON, или российской компании Driveback

Руководство по использованию подхода многоруких бандитов можно почитать на русском у компании Google, которая использует эти алгоритмы в работы своих Google Analytics Эксперименты

У электронной почты есть своя специфика, некоторые простые принципы изложены в статье с говорящим названием Email AB testing like Barack Obama