Kas yra statistinė reikšmingumas?

Statistinė reikšmingumas (statistical significance) yra matas, kiek rezultatai iš eksperimento (pavyzdžiui, A/B testo) skiriasi nuo atsitiktinių svyravimų ir gali būti laikomi patikimais.

Jei rezultatas yra statistiškai reikšmingas, tai reiškia, kad tikimybė gauti tokius duomenis atsitiktinai yra labai maža (paprastai mažiau nei 5%). Tai padeda priimti sprendimą, ar pakeitimas tikrai veikia metriką, ar tai tik atsitiktinis triukšmas.

Pavyzdžiui, jei A/B teste konversija B grupėje yra didesnė ir p-reikšmė yra mažesnė nei 0.05, galima tikrai pasakyti, kad pagerėjimas nėra atsitiktinis.