İstatistiksel anlamlılık nedir?

İstatistiksel anlamlılık (statistical significance), bir deneyin (örneğin, A/B testi) elde edilen sonuçlarının rastgele dalgalanmalardan ne kadar farklı olduğunu ve güvenilir sayılabileceğini ölçen bir göstergedir.

İstatistiksel olarak anlamlı ise, bu, bu verileri rastgele elde etme olasılığının çok düşük olduğu anlamına gelir (genellikle %5'ten az). Bu, değişikliğin gerçekten metriği etkilediğine karar vermeye yardımcı olur ve rastgele bir gürültü değildir.

Örneğin, bir A/B testinde B grubundaki dönüşüm daha yüksekse ve p-değeri 0.05'ten küçükse, bu iyileşmenin rastgele olmadığını kesinlikle söyleyebiliriz.