Co je statistická významnost?

Statistická významnost (statistical significance) je míra toho, jak moc se výsledky experimentu (například A/B testu) liší od náhodných výkyvů a mohou být považovány za spolehlivé.

Pokud je výsledek statisticky významný, znamená to, že pravděpodobnost, že taková data jsou náhodná, je velmi malá (obvykle méně než 5%). To pomáhá rozhodnout, zda změna skutečně ovlivňuje metriku, nebo je to jen náhodný šum.

Například pokud je v A/B testu konverze ve skupině B vyšší a p-hodnota je menší než 0,05, můžeme s jistotou říct, že zlepšení není náhodné.