Как определить, что метрика конверсии выросла именно на 10%, а не на 9% или 3%?

Чтобы определить, что метрика конверсии выросла именно на 10%, а не на 9% или 3%, необходимо провести статистический анализ изменений. Важно учитывать:

• Точность измерений: убедиться, что данные корректны и собраны одинаковым способом.
• Статистическую значимость: применить тесты (например, z-тест или t-тест) для проверки, что разница не случайна.
• Доверительные интервалы: вычислить интервал, в котором с заданной вероятностью находится истинное значение изменения.

Если 10% рост находится вне доверительного интервала для предыдущих значений и статистически значим, можно утверждать, что рост именно 10%. В противном случае разница может быть обусловлена шумом или случайными колебаниями данных.

Пример: если конверсия была 5%, и после изменений стала 5.5%, то рост 10%. Нужно проверить, что эта разница превышает погрешность измерения и статистическую ошибку.