Mi a statisztikai szignifikancia?

A statisztikai szignifikancia (statistical significance) azt méri, hogy mennyire térnek el a kísérlet eredményei (például egy A/B teszt) a véletlenszerű ingadozásoktól, és megbízhatónak tekinthetők.

Ha az eredmény statisztikailag szignifikáns, az azt jelenti, hogy annak valószínűsége, hogy ilyen adatokat véletlenül kapjunk, nagyon alacsony (általában kevesebb, mint 5%). Ez segít eldönteni, hogy a változás valóban befolyásolja-e a metrikát, vagy csak véletlenszerű zaj.

Például, ha egy A/B tesztben a B csoport konverziója magasabb, és a p-érték kisebb, mint 0,05, akkor biztosan kijelenthetjük, hogy a javulás nem véletlen.