Kas ir statistiskā nozīmīgums?

Statistiskā nozīmīgums (statistical significance) ir mērs, cik ļoti eksperta rezultāti (piemēram, A/B tests) atšķiras no nejaušām svārstībām un var tikt uzskatīti par uzticamiem.

Ja rezultāts ir statistiski nozīmīgs, tas nozīmē, ka iespēja iegūt šādus datus nejauši ir ļoti maza (parasti mazāk nekā 5%). Tas palīdz pieņemt lēmumu, vai izmaiņa patiešām ietekmē metriku vai ir tikai nejaušs troksnis.

Piemēram, ja A/B testā konversija B grupā ir augstāka un p-vērtība ir mazāka par 0.05, ar pārliecību var teikt, ka uzlabojums nav nejaušs.