Что такое histogram-based gradient boosting?

Histogram-based gradient boosting — это оптимизация алгоритмов градиентного бустинга, при которой непрерывные признаки предварительно дискретизируются в бины (корзины), и обучение происходит на этих гистограммных представлениях.

Основные преимущества:

• Значительно ускоряется вычисление градиентов и поиск оптимальных разбиений, так как операции выполняются над ограниченным числом бинов, а не над всеми уникальными значениями признаков.
• Снижается потребление памяти.

Пример использования — популярные библиотеки, такие как LightGBM, используют histogram-based boosting для эффективного обучения на больших табличных данных.

Идея в том, чтобы заменить поиск оптимальных порогов для разбиения на перебор по дискретным бинам, что упрощает и ускоряет построение деревьев.