Какво е парадоксът на Simpson в A/B тестовете?

Парадоксът на Симпсън е статистически феномен, при който тенденция, наблюдавана в няколко групи данни, изчезва или променя посоката си при обединяването им. В контекста на A/B тестовете това може да доведе до неправилни изводи, ако не се вземат предвид подгрупите на потребителите.

Например, в A/B тест, две версии на сайт могат да показват различни резултати в различни сегменти на потребителите (например по възраст или регион). Във всяка група версия A може да е по-добра, но при обединяване на всички данни версия B изглежда по-добра поради разликите в разпределението на потребителите между групите.

За да се избегне парадоксът на Симпсън, е важно да се анализират резултатите не само като цяло, но и по ключови сегменти, както и да се използват стратифицирани анализи.