Statistik ahamiyat nima?

Statistikiy ahamiyat (statistical significance) — bu eksperiment natijalari (masalan, A/B-test) tasodifiy o'zgarishlardan qanchalik farq qilayotganligini va ishonchli deb hisoblanishini o'lchovchi mezodir.

Agar natija statistik jihatdan ahamiyatli bo'lsa, bu shuni anglatadiki, bunday ma'lumotlarni tasodifan olish ehtimoli juda kam (odatda 5% dan kam). Bu o'zgarish haqiqatan ham metrikaga ta'sir qilayotganligini yoki shunchaki tasodifiy shovqin ekanligini aniqlashga yordam beradi.

Masalan, A/B-testda B guruhidagi konversiya yuqori bo'lsa va p-qiymat 0.05 dan kichik bo'lsa, bu yaxshilanish tasodifiy emasligini ishonch bilan aytish mumkin.