სტატისტიკური მნიშვნელობა რა არის?

სტატისტიკური მნიშვნელობა (statistical significance) — ეს არის ზომა იმისა, თუ რამდენად განსხვავდება ექსპერიმენტის (მაგალითად, A/B ტესტის) მიღებული შედეგები შემთხვევით ცვლილებებთან და შეიძლება ჩაითვალოს სანდოდ.

თუ შედეგი სტატისტიკურად მნიშვნელოვანი არის, ეს ნიშნავს, რომ ასეთი მონაცემების შემთხვევით მიღების ალბათობა ძალიან მცირეა (საშუალოდ ნაკლები 5%). ეს ეხმარება გადაწყვიტოს, შეიცვალა რეალურად მეტრიკა თუ არა, და არა უბრალოდ შემთხვევითი ხმაური.

მაგალითად, თუ A/B ტესტში B ჯგუფის კონვერსია მაღალია და p-ფასი ნაკლებია 0.05-ზე, შეიძლება დარწმუნებით ითქვას, რომ გაუმჯობესება შემთხვევითი არაა.