O que é o efeito mínimo detectável (MDE)?

Efeito Mínimo Detectável (MDE) é o menor tamanho de efeito (diferença entre o grupo de controle e o grupo de teste) que pode ser detectado estatisticamente de forma confiável em um experimento, por exemplo, em um teste A/B.

O MDE ajuda a determinar o quão grande deve ser a diferença nas métricas para considerar o resultado como significativo e não por acaso. Este é um parâmetro importante no planejamento do experimento, pois influencia o tamanho da amostra e a duração do teste.

Por exemplo, se o MDE for de 5%, isso significa que o experimento deve ser capaz de detectar uma mudança na métrica de pelo menos 5% para que o resultado seja considerado estatisticamente significativo.