Statistik əhəmiyyət nədir?

Statistik əhəmiyyət (statistical significance) — bu təcrübənin (məsələn, A/B testi) əldə olunan nəticələrinin təsadüfi dəyişikliklərdən nə dərəcədə fərqli olduğunu və etibarlı sayılmasını ölçən bir göstəricidir.

Əgər nəticə statistik cəhətdən əhəmiyyətlidirsə, bu, bu məlumatların təsadüfən əldə olunma ehtimalının çox az olduğunu (adətən 5%-dən az) göstərir. Bu, dəyişikliklərin həqiqətən metrikaya təsir etdiyini və ya sadəcə təsadüfi səs-küy olduğunu qərar verməyə kömək edir.

Məsələn, A/B testində B qrupundakı dönüşüm daha yüksəkdirsə və p-dəyəri 0.05-dən kiçikdirsə, bu, yaxşılaşmanın təsadüfi olmadığını dəqiq söyləmək mümkündür.