Mis on statistiline tähendus?

Statistiline olulisus (statistical significance) on mõõt, kui palju eksperti tulemused (näiteks A/B test) erinevad juhuslikest kõikumistest ja neid võib usaldusväärsetena pidada.

Kui tulemus on statistiliselt oluline, tähendab see, et tõenäosus saada selliseid andmeid juhuslikult on väga väike (tavaliselt vähem kui 5%). See aitab otsustada, kas muudatus tõesti mõjutab mõõdikut või on see lihtsalt juhuslik müra.

Näiteks, kui A/B testis on B-grupi konversioon kõrgem ja p-väärtus on väiksem kui 0.05, saab kindlalt öelda, et parandamine ei ole juhuslik.