Какво е статистическа значимост?

Статистическа значимост (statistical significance) е мярка за това колко резултатите от експеримент (например, A/B тест) се различават от случайните колебания и могат да се считат за надеждни.

Ако резултатът е статистически значим, това означава, че вероятността да се получат такива данни случайно е много малка (обикновено по-малко от 5%). Това помага да се вземе решение дали промяната наистина влияе на метриката или е просто случаен шум.

Например, ако в A/B тест конверсията в група B е по-висока и p-стойността е по-малка от 0.05, може с увереност да се каже, че подобрението не е случайно.