Čo je štatistická významnosť?

Štatistická významnosť (statistical significance) je miera toho, ako veľmi sa výsledky experimentu (napríklad A/B test) odchyľujú od náhodných kolísaní a môžu byť považované za spoľahlivé.

Ak je výsledok štatisticky významný, znamená to, že pravdepodobnosť, že takéto údaje sú náhodné, je veľmi malá (zvyčajne menej ako 5%). To pomáha rozhodnúť, či zmena skutočne ovplyvňuje metriku alebo je to len náhodný šum.

Napríklad, ak je v A/B teste miera konverzie v skupine B vyššia a p-hodnota je menšia ako 0,05, môžeme s istotou povedať, že zlepšenie nie je náhodné.