Какие метрики и методы используются для оценки моделей и AB-тестирования?

Для оценки моделей и AB-тестирования используются различные метрики и методы, которые помогают понять качество модели или эффективность изменений.

Метрики для оценки моделей

• Accuracy (Точность) — доля правильных предсказаний.
• Precision (Точность для положительного класса) — сколько из предсказанных положительных действительно положительные.
• Recall (Полнота) — сколько из всех положительных объектов модель нашла.
• F1-score — гармоническое среднее precision и recall.
• ROC-AUC — площадь под кривой ошибок, показывает качество классификации при разных порогах.
• Log Loss — логарифмическая функция потерь для вероятностных моделей.

Метрики для AB-тестирования

• Конверсия — доля пользователей, совершивших целевое действие.
• Средний чек — средний доход на пользователя.
• Retention — удержание пользователей.
• Время на сайте, количество сессий — поведенческие метрики.

Методы оценки

• Статистические тесты (например, t-тест, z-тест, χ²-тест) для проверки значимости различий между группами.
• Доверительные интервалы — для оценки надежности результатов.
• Методы контроля множественных сравнений — чтобы избежать ложноположительных результатов при множественных тестах.

Пример: при AB-тесте сравнивают конверсию двух групп, применяют z-тест для проверки, значимо ли различие, и смотрят на доверительный интервал для оценки диапазона эффекта.