Ako určiť, že metrika konverzie vzrástla presne o 10 %, a nie o 9 % alebo 3 %?

Na určenie, že metrika konverzie vzrástla presne o 10 %, a nie o 9 % alebo 3 %, je potrebné vykonať štatistickú analýzu zmien. Je dôležité vziať do úvahy:

• Presnosť meraní: uistite sa, že údaje sú správne a zbierané rovnakým spôsobom.
• Štatistická významnosť: použiť testy (napríklad z-test alebo t-test) na overenie, že rozdiel nie je náhodný.
• Intervaly dôvery: vypočítať interval, v ktorom s danou pravdepodobnosťou sa nachádza skutočná hodnota zmeny.

Ak je nárast o 10 % mimo intervalu dôvery pre predchádzajúce hodnoty a je štatisticky významný, možno tvrdiť, že nárast je presne 10 %. Inak môže byť rozdiel spôsobený šumom alebo náhodnými kolísaniami údajov.

Príklad: ak bola konverzia 5 % a po zmenách stúpla na 5,5 %, potom je nárast 10 %. Je potrebné skontrolovať, či tento rozdiel presahuje chybu merania a štatistickú chybu.