Что такое Bayesian target encoding?

Bayesian target encoding — это метод кодирования категориальных признаков в задачах машинного обучения, основанный на использовании статистики целевой переменной с применением байесовского сглаживания.

Идея в том, чтобы заменить категорию числом, отражающим среднее значение целевой переменной для этой категории, но с учетом общего среднего и количества наблюдений, чтобы избежать переобучения на редких категориях.

Формула сглаживания обычно выглядит так:

[ \text{EncodedValue} = \frac{\text{mean_target_for_category} \times n + \text{global_mean} \times k}{n + k} ]

где:

• (n) — количество наблюдений в категории,
• (k) — параметр сглаживания (вес априорного среднего),
• (\text{global_mean}) — среднее по всей выборке.

Такой подход помогает уменьшить шум и переобучение, особенно при работе с редкими категориями, и часто используется в бустинговых алгоритмах для табличных данных.